Linux高效運(yùn)維實(shí)戰(zhàn)

目　　錄
第1篇　Web、數(shù)據(jù)庫(kù)運(yùn)維篇
第1章　高效Web服務(wù)器Nginx 2
1．1　為什么選擇Nginx 2
1．2　安裝和配置Nginx 3
1．2．1　安裝Nginx 3
1．2．2　Nginx配置文件解讀 5
1．3　Nginx的管理與維護(hù) 9
1．3．1　Nginx基本信息檢查 9
1．3．2　Nginx的啟動(dòng)、關(guān)閉與重啟 10
1．4　Nginx常見(jiàn)應(yīng)用實(shí)例 11
1．4．1　Nginx中l(wèi)ocation應(yīng)用實(shí)例 11
1．4．2　Nginx反向代理應(yīng)用實(shí)例 12
1．4．3　Nginx中URL的重寫(xiě)功能以及內(nèi)置變量 15
1．4．4　Nginx中虛擬主機(jī)配置實(shí)例 19
1．4．5　Nginx中負(fù)載均衡的配置實(shí)例 20
1．4．6　Nginx中HTTPS配置的實(shí)例 21
1．5　LNMP應(yīng)用架構(gòu)以及部署 25
1．5．1　LNMP簡(jiǎn)介 25
1．5．2　Nginx的安裝 26
1．5．3　MySQL的安裝 26
1．5．4　PHP的安裝 30
1．5．5　Nginx下PHP-FPM的配置 32
1．5．6　測(cè)試LNMP安裝是否正常 35
1．6　Nginx +Tomcat架構(gòu)與應(yīng)用案例 36
1．6．1　Nginx +Tomcat整合的必要性 36
1．6．2　Nginx +Tomcat動(dòng)靜分離配置實(shí)例 37
1．6．3　Nginx +Tomcat多Tomcat負(fù)載均衡配置實(shí)例 38
第2章　高效Web服務(wù)器Apache 39
2．1　LAMP服務(wù)套件 39
2．1．1　LAMP概述 39
2．1．2　LAMP服務(wù)環(huán)境的搭建 39
2．1．3　測(cè)試LAMP環(huán)境安裝的正確性 45
2．1．4　在LAMP環(huán)境下部署phpMyAdmin工具 45
2．1．5　在LAMP環(huán)境下部署WordPress應(yīng)用 46
2．2　Apache的基礎(chǔ)配置 48
2．2．1　Apache的目錄結(jié)構(gòu) 48
2．2．2　Apache配置文件 49
2．3　Apache常見(jiàn)功能應(yīng)用實(shí)例 57
2．3．1　Apache下HTTPS配置實(shí)例 57
2．3．2　反向代理功能實(shí)例 58
2．4　Apache MPM模式與基礎(chǔ)調(diào)優(yōu) 62
2．4．1　MPM模式概述 62
2．4．2　prefork MPM模式 62
2．4．3　worker MPM模式 63
2．4．4　event MPM模式 64
2．5　Apache集成Tomcat構(gòu)建高效JAVA Web應(yīng)用 65
2．5．1　Apache與Tomcat整合的必要性 66
2．5．2　Apache和Tomcat連接器 66
2．5．3　Apache、Tomcat和JK模塊的安裝 67
2．5．4　Apache與Tomcat整合配置 68
第3章　企業(yè)常見(jiàn)MySQL架構(gòu)應(yīng)用實(shí)戰(zhàn) 74
3．1　選擇Percona Server、MariaDB還是MYSQL 74
3．1．1　MySQL官方發(fā)行版 74
3．1．2　MySQL與存儲(chǔ)引擎 74
3．1．3　Percona Server for MySQL分支 75
3．1．4　MariaDB Server 75
3．1．5　如何選擇 75
3．2　MySQL命令操作 76
3．2．1　連接MySQL 76
3．2．2　修改密碼 76
3．2．3　增加新用戶(hù)/授權(quán)用戶(hù) 76
3．2．4　數(shù)據(jù)庫(kù)基礎(chǔ)操作 77
3．2．5　MySQL表操作 78
3．2．6　備份數(shù)據(jù)庫(kù) 79
3．3　MySQL備份恢復(fù)工具XtraBackup 80
3．3．1　安裝XtraBackup工具包 80
3．3．2　XtraBackup工具介紹 81
3．3．3　xtrabackup備份恢復(fù)實(shí)現(xiàn)原理 81
3．3．4　innobackupex工具的使用 81
3．3．5　利用innobackupex進(jìn)行MySQL全備份 82
3．3．6　利用innobackupex完全恢復(fù)數(shù)據(jù)庫(kù) 83
3．3．7　XtraBackup針對(duì)海量數(shù)據(jù)的備份優(yōu)化 84
3．3．8　完整的MySQL備份恢復(fù)例子 85
3．4　常見(jiàn)的高可用MySQL解決方案 86
3．4．1　主從復(fù)制解決方案 86
3．4．2　MMM高可用解決方案 86
3．4．3　Heartbeat/SAN高可用解決方案 87
3．4．4　Heartbeat/DRBD高可用解決方案 87
3．4．5　MySQL Cluster高可用解決方案 87
3．5　通過(guò)Keepalived搭建MySQL雙主模式的高可用集群系統(tǒng) 87
3．5．1　MySQL Replication介紹 88
3．5．2　MySQL Replication實(shí)現(xiàn)原理 89
3．5．3　MySQL Replication常用架構(gòu) 89
3．5．4　MySQL主主互備模式架構(gòu)圖 90
3．5．5　MySQL主主互備模式配置 91
3．5．6　配置Keepalived實(shí)現(xiàn)MySQL雙主高可用 95
3．5．7　測(cè)試MySQL主從同步功能 97
3．5．8　測(cè)試Keepalived實(shí)現(xiàn)MySQL故障轉(zhuǎn)移 99
3．6　MySQL集群架構(gòu)MHA應(yīng)用實(shí)戰(zhàn) 100
3．6．1　MHA的概念和原理 101
3．6．2　MHA套件的組成和恢復(fù)過(guò)程 102
3．6．3　安裝MHA套件 102
3．6．4　配置MHA集群 106
3．6．5　測(cè)試MHA環(huán)境以及常見(jiàn)問(wèn)題總結(jié) 111
3．6．6　啟動(dòng)與管理MHA 113
3．6．7　MHA集群切換測(cè)試 114
3．7　MySQL中間件ProxySQL 117
3．7．1　ProxySQL簡(jiǎn)介 117
3．7．2　ProxySQL的下載與安裝 117
3．7．3　ProxySQL的目錄結(jié)構(gòu) 118
3．7．4　ProxySQL庫(kù)表功能介紹 118
3．7．5　ProxySQL的運(yùn)行機(jī)制 120
3．7．6　在ProxySQL下添加與修改配置 121
3．8　ProxySQL+MHA構(gòu)建高可用MySQL讀寫(xiě)分離架構(gòu) 123
3．8．1　ProxySQL+MHA應(yīng)用架構(gòu) 123
3．8．2　部署環(huán)境說(shuō)明 123
3．8．3　配置后端MySQL 124
3．8．4　配置后端MySQL用戶(hù) 124
3．8．5　在ProxySQL中添加程序賬號(hào) 125
3．8．6　加載配置和變量 125
3．8．7　連接數(shù)據(jù)庫(kù)并寫(xiě)入數(shù)據(jù) 126
3．8．8　定義路由規(guī)則 126
3．8．9　ProxySQL整合MHA實(shí)現(xiàn)高可用 128
第2篇　運(yùn)維監(jiān)控篇
第4章　運(yùn)維監(jiān)控利器Zabbix 130
4．1　Zabbix運(yùn)行架構(gòu) 130
4．1．1　Zabbix應(yīng)用組件 131
4．1．2　Zabbix服務(wù)進(jìn)程 131
4．1．3　Zabbix監(jiān)控術(shù)語(yǔ) 132
4．2　安裝、部署Zabbix監(jiān)控平臺(tái) 133
4．2．1　LNMP環(huán)境部署 134
4．2．2　編譯安裝Zabbix Server 137
4．2．3　創(chuàng)建數(shù)據(jù)庫(kù)和初始化表 138
4．2．4　配置Zabbix Server端 138
4．2．5　安裝與配置Zabbix Agent 140
4．2．6　安裝Zabbix GUI 141
4．2．7　測(cè)試Zabbix Server監(jiān)控 144
4．3　Zabbix Web配置詳解 144
4．3．1　模板的管理與使用 144
4．3．2　創(chuàng)建應(yīng)用集 145
4．3．3　創(chuàng)建監(jiān)控項(xiàng) 146
4．3．4　創(chuàng)建觸發(fā)器 149
4．3．5　創(chuàng)建主機(jī)組和主機(jī) 152
4．3．6　觸發(fā)器動(dòng)作配置 154
4．3．7　報(bào)警媒介類(lèi)型配置 157
4．3．8　監(jiān)控狀態(tài)查看 158
4．4　Zabbix自定義監(jiān)控項(xiàng) 160
4．4．1　Zabbix Agent端開(kāi)啟自定義監(jiān)控項(xiàng)功能 160
4．4．2　讓監(jiān)控項(xiàng)接收參數(shù) 160
4．5　Zabbix的主動(dòng)模式與被動(dòng)模式 161
4．6　自動(dòng)發(fā)現(xiàn)與自動(dòng)注冊(cè) 162
4．7　Zabbix運(yùn)維監(jiān)控實(shí)戰(zhàn)案例 168
4．7．1　Zabbix監(jiān)控MySQL應(yīng)用實(shí)戰(zhàn) 168
4．7．2　Zabbix監(jiān)控Apache應(yīng)用實(shí)戰(zhàn) 174
4．7．3　Zabbix監(jiān)控Nginx應(yīng)用實(shí)戰(zhàn) 178
4．7．4　Zabbix監(jiān)控PHP-FPM應(yīng)用實(shí)戰(zhàn) 182
4．7．5　Zabbix監(jiān)控Tomcat應(yīng)用實(shí)戰(zhàn) 188
4．7．6　Zabbix監(jiān)控Redis實(shí)例應(yīng)用實(shí)戰(zhàn) 193
第5章　分布式監(jiān)控系統(tǒng)Ganglia 201
5．1　Ganglia簡(jiǎn)介 201
5．2　Ganglia的組成 201
5．3　Ganglia的工作原理 203
5．3．1　Ganglia數(shù)據(jù)流向分析 203
5．3．2　Ganglia工作模式 204
5．4　Ganglia的安裝 204
5．4．1　yum源安裝方式 204
5．4．2　源碼方式 205
5．5　配置一個(gè)Ganglia分布式監(jiān)控系統(tǒng) 207
5．5．1　Ganglia配置文件介紹 207
5．5．2　Ganglia監(jiān)控系統(tǒng)架構(gòu)圖 207
5．5．3　Ganglia監(jiān)控管理端配置 207
5．5．4　Ganglia的客戶(hù)端配置 208
5．5．5　Ganglia的Web端配置 209
5．6　Ganglia監(jiān)控系統(tǒng)的管理和維護(hù) 210
5．7　Ganglia監(jiān)控?cái)U(kuò)展實(shí)現(xiàn)機(jī)制 211
5．7．1　擴(kuò)展Ganglia監(jiān)控功能的方法 211
5．7．2　通過(guò)gmetric接口擴(kuò)展Ganglia監(jiān)控 212
5．7．3　通過(guò)Python插件擴(kuò)展Ganglia監(jiān)控 213
5．7．4　實(shí)戰(zhàn)：利用Python接口監(jiān)控Nginx運(yùn)行狀態(tài) 214
5．8　Ganglia在實(shí)際應(yīng)用中要考慮的問(wèn)題 217
5．8．1　網(wǎng)絡(luò)IO可能存在瓶頸 217
5．8．2　CPU可能存在瓶頸 217
5．8．3　gmetad rrd數(shù)據(jù)寫(xiě)入可能存在瓶頸 217
第3篇　集群架構(gòu)篇
第6章　高性能集群軟件Keepalived 220
6．1　集群的定義 220
6．2　集群的特點(diǎn)與功能 221
6．2．1　高可用性與可擴(kuò)展性 221
6．2．2　負(fù)載均衡與錯(cuò)誤恢復(fù) 221
6．2．3　心跳檢測(cè)與漂移IP 221
6．3　集群的分類(lèi) 222
6．3．1　高可用集群 222
6．3．2　負(fù)載均衡集群 223
6．3．3　分布式計(jì)算集群 224
6．4　HA集群中的相關(guān)術(shù)語(yǔ) 225
6．5　Keepalived簡(jiǎn)介 225
6．5．1　Keepalived的用途 226
6．5．2　VRRP協(xié)議與工作原理 226
6．5．3　Keepalived工作原理 227
6．5．4　Keepalived的體系結(jié)構(gòu) 227
6．6　Keepalived安裝與配置 229
6．6．1　Keepalived的安裝過(guò)程 229
6．6．2　Keepalived的全局配置 230
6．6．3　Keepalived的VRRPD配置 231
6．6．4　Keepalived的LVS配置 234
6．7　Keepalived基礎(chǔ)功能應(yīng)用實(shí)例 237
6．7．1　Keepalived基礎(chǔ)HA功能演示 237
6．7．2　通過(guò)VRRP_script實(shí)現(xiàn)對(duì)集群資源的監(jiān)控 243
第7章　高性能負(fù)載均衡集群LVS 247
7．1　LVS簡(jiǎn)介 247
7．2　LVS體系結(jié)構(gòu) 247
7．3　IP負(fù)載均衡與負(fù)載調(diào)度算法 248
7．3．1　IP負(fù)載均衡技術(shù) 249
7．3．2　負(fù)載均衡機(jī)制 249
7．3．3　LVS負(fù)載調(diào)度算法 255
7．3．4　適用環(huán)境 256
7．4　LVS的安裝與使用 256
7．4．1　安裝IPVS管理軟件 257
7．4．2　ipvsadm的用法 257
7．5　通過(guò)Keepalived搭建LVS高可用性集群系統(tǒng) 258
7．5．1　實(shí)例環(huán)境 258
7．5．2　配置Keepalived 259
7．5．3　配置Real Server節(jié)點(diǎn) 261
7．5．4　啟動(dòng)Keepalived+LVS集群系統(tǒng) 263
7．6　測(cè)試高可用LVS負(fù)載均衡集群系統(tǒng) 263
7．6．1　高可用性功能測(cè)試 263
7．6．2　負(fù)載均衡測(cè)試 264
7．6．3　故障切換測(cè)試 264
7．7　LVS經(jīng)常使用的集群網(wǎng)絡(luò)架構(gòu) 265
7．7．1　內(nèi)網(wǎng)集群，外網(wǎng)映射VIP 265
7．7．2　全外網(wǎng)LVS集群環(huán)境 266
第8章　高性能負(fù)載均衡軟件HAProxy 268
8．1　高性能負(fù)載均衡軟件HAProxy 268
8．1．1　HAProxy簡(jiǎn)介 268
8．1．2　四層和七層負(fù)載均衡的區(qū)別 269
8．1．3　HAProxy與LVS的異同 270
8．2　HAProxy基礎(chǔ)配置與應(yīng)用實(shí)例 270
8．2．1　快速安裝HAProxy集群軟件 271
8．2．2　HAProxy基礎(chǔ)配置文件詳解 271
8．2．3　通過(guò)HAProxy的ACL規(guī)則實(shí)現(xiàn)智能負(fù)載均衡 277
8．2．4　管理與維護(hù)HAProxy 279
8．2．5　使用HAProxy的Web監(jiān)控平臺(tái) 282
8．3　搭建HAProxy+Keepalived高可用負(fù)載均衡系統(tǒng) 283
8．3．1　搭建環(huán)境描述 283
8．3．2　配置HAProxy負(fù)載均衡服務(wù)器 284
8．3．3　配置主、備Keepalived服務(wù)器 286
8．4　測(cè)試HAProxy+Keepalived高可用負(fù)載均衡集群 289
8．4．1　測(cè)試Keepalived的高可用功能 289
8．4．2　測(cè)試負(fù)載均衡功能 290
第4篇　線上服務(wù)器安全、調(diào)優(yōu)、自動(dòng)化運(yùn)維篇
第9章　線上服務(wù)器安全運(yùn)維 292
9．1　賬戶(hù)和登錄安全 292
9．1．1　刪除特殊的賬戶(hù)和賬戶(hù)組 292
9．1．2　關(guān)閉系統(tǒng)不需要的服務(wù) 293
9．1．3　密碼安全策略 294
9．1．4　合理使用su、sudo命令 299
9．1．5　刪減系統(tǒng)登錄歡迎信息 300
9．1．6　禁止Control-Alt-Delete鍵盤(pán)關(guān)閉命令 301
9．2　遠(yuǎn)程訪問(wèn)和認(rèn)證安全 301
9．2．1　采用SSH方式而非telnet方式遠(yuǎn)程登錄系統(tǒng) 301
9．2．2　合理使用shell歷史命令記錄功能 303
9．2．3　啟用Tcp_Wrappers防火墻 305
9．3　文件系統(tǒng)安全 307
9．3．1　鎖定系統(tǒng)重要文件 307
9．3．2　文件權(quán)限檢查和修改 309
9．3．3　/tmp、/var/tmp、/dev/shm安全設(shè)定 309
9．4　系統(tǒng)軟件安全管理 311
9．4．1　軟件自動(dòng)升級(jí)工具yum 311
9．4．2　yum的安裝與配置 311
9．4．3　yum的特點(diǎn)與基本用法 313
9．4．4　幾個(gè)不錯(cuò)的yum源 315
9．5　Linux后門(mén)入侵檢測(cè)與安全防護(hù)工具 316
9．5．1　rootkit后門(mén)檢測(cè)工具RKHunter 317
9．5．2　Linux安全防護(hù)工具ClamAV的使用 320
9．5．3　Linux．BackDoor．Gates．5（文件級(jí)別rootkit）網(wǎng)絡(luò)帶寬攻擊案例 322
9．6　服務(wù)器遭受攻擊后的處理過(guò)程 326
9．6．1　處理服務(wù)器遭受攻擊的一般思路 326
9．6．2　檢查并鎖定可疑用戶(hù) 327
9．6．3　查看系統(tǒng)日志 328
9．6．4　檢查并關(guān)閉系統(tǒng)可疑進(jìn)程 329
9．6．5　檢查文件系統(tǒng)的完好性 329
9．7　云服務(wù)器被植入挖礦病毒案例實(shí)錄以及Redis安全防范 330
9．7．1　問(wèn)題現(xiàn)象 330
9．7．2　分析問(wèn)題 331
9．7．3　問(wèn)題解決 336
9．7．4　深入探究Redis是如何被植入 338
第10章　線上服務(wù)器性能調(diào)優(yōu)案例 346
10．1　線上Linux服務(wù)器基礎(chǔ)優(yōu)化策略 346
10．1．1　系統(tǒng)基礎(chǔ)配置與調(diào)優(yōu) 346
10．1．2　系統(tǒng)安全與防護(hù)策略 351
10．1．3　系統(tǒng)內(nèi)核參數(shù)調(diào)優(yōu) 355
10．2　系統(tǒng)性能調(diào)優(yōu)規(guī)范以及對(duì)某電商平臺(tái)優(yōu)化分析案例 358
10．2．1　CPU性能評(píng)估以及相關(guān)工具 358
10．2．2　內(nèi)存性能評(píng)估以及相關(guān)工具 360
10．2．3　磁盤(pán)I/O性能評(píng)估以及相關(guān)工具 361
10．2．4　網(wǎng)絡(luò)性能評(píng)估以及相關(guān)工具 363
10．2．5　系統(tǒng)性能分析標(biāo)準(zhǔn) 366
10．2．6　動(dòng)態(tài)、靜態(tài)內(nèi)容結(jié)合的電商網(wǎng)站優(yōu)化案例 366
10．3　一次Java進(jìn)程占用CPU過(guò)高問(wèn)題的排查方法與案例分析 376
10．3．1　案例故障描述 376
10．3．2　Java中進(jìn)程與線程的概念 377
10．3．3　排查Java進(jìn)程占用CPU過(guò)高的思路 378
10．3．4　Tomcat配置調(diào)優(yōu) 383
10．3．5　Tomcat Connector 3種運(yùn)行模式（BIO、NIO、APR）的比較與優(yōu)化 385
第11章　自動(dòng)化運(yùn)維工具Ansible 391
11．1　Ansible的安裝 391
11．2　Ansible的架構(gòu)與運(yùn)行原理 392
11．3　Ansible主機(jī)和組的配置 394
11．4　ansible．cfg與默認(rèn)配置 396
11．5　Ad-Hoc與command模塊 396
11．5．1　Ad-Hoc是什么 396
11．5．2　command模塊 397
11．5．3　shell模塊 398
11．5．4　raw模塊 398
11．5．5　script模塊 399
11．6　Ansible其他常用功能模塊 399
11．6．1　ping模塊 399
11．6．2　file模塊 400
11．6．3　copy模塊 401
11．6．4　service模塊 402
11．6．5　cron模塊 402
11．6．6　yum模塊 403
11．6．7　user模塊與group模塊 404
11．6．8　synchronize模塊 405
11．6．9　setup模塊 405
11．6．10　get_url模塊 406
11．7　ansible-playbook簡(jiǎn)單使用 406
11．7．1　劇本簡(jiǎn)介 406
11．7．2　劇本文件的格式 406
11．7．3　劇本的構(gòu)成 407
11．7．4　劇本執(zhí)行結(jié)果解析 408
11．7．5　ansible-playbook收集facts信息案例 409
11．7．6　兩個(gè)完整的ansible-playbook案例 410
第5篇　虛擬化、大數(shù)據(jù)運(yùn)維篇
第12章　KVM虛擬化技術(shù)與應(yīng)用 414
12．1　KVM虛擬化架構(gòu) 414
12．1．1　KVM與QEMU 414
12．1．2　KVM虛擬機(jī)管理工具 414
12．1．3　宿主機(jī)與虛擬機(jī) 415
12．2　VNC的安裝與使用 415
12．2．1　啟動(dòng)VNC Server 415
12．2．2　重啟VNC Server 415
12．2．3　客戶(hù)端連接 416
12．3　查看硬件是否支持虛擬化 416
12．4　安裝KVM內(nèi)核模塊和管理工具 416
12．4．1　安裝KVM內(nèi)核 417
12．4．2　安裝virt管理工具 417
12．4．3　加載KVM內(nèi)核 417
12．4．4　查看內(nèi)核是否開(kāi)啟 417
12．4．5　KVM管理工具服務(wù)相關(guān) 417
12．5　宿主機(jī)網(wǎng)絡(luò)配置 418
12．5．1　建立橋接器 418
12．5．2　配置橋接設(shè)備 418
12．5．3　重啟網(wǎng)絡(luò)服務(wù) 419
12．6　使用KVM技術(shù)安裝虛擬機(jī) 419
12．7　虛擬機(jī)復(fù)制 421
12．7．1　本機(jī)復(fù)制 421
12．7．2　控制臺(tái)管理虛擬機(jī) 422
12．7．3　虛擬機(jī)的遷移 422
12．8　KVM虛擬化常用管理命令 423
12．8．1　查看KVM虛擬機(jī)配置文件及運(yùn)行狀態(tài) 423
12．8．2　KVM虛擬機(jī)開(kāi)機(jī) 423
12．8．3　KVM虛擬機(jī)關(guān)機(jī)或斷電 423
第13章　ELK大規(guī)模日志實(shí)時(shí)處理系統(tǒng)應(yīng)用實(shí)戰(zhàn) 426
13．1　ELK架構(gòu)介紹 426
13．1．1　核心組成 426
13．1．2　Elasticsearch介紹 426
13．1．3　Logstash介紹 427
13．1．4　Kibana介紹 428
13．1．5　ELK工作流程 428
13．2　ZooKeeper基礎(chǔ)與入門(mén) 429
13．2．1　ZooKeeper概念介紹 429
13．2．2　ZooKeeper應(yīng)用舉例 430
13．2．3　ZooKeeper工作原理 430
13．2．4　ZooKeeper集群架構(gòu) 431
13．3　Kafka基礎(chǔ)與入門(mén) 432
13．3．1　Kafka基本概念 432
13．3．2　Kafka術(shù)語(yǔ) 432
13．3．3　Kafka拓?fù)浼軜?gòu) 433
13．3．4　主題與分區(qū) 434
13．3．5　生產(chǎn)者生產(chǎn)機(jī)制 434
13．3．6　消費(fèi)者消費(fèi)機(jī)制 434
13．4　Filebeat基礎(chǔ)與入門(mén) 435
13．4．1　什么是Filebeat 435
13．4．2　Filebeat架構(gòu)與運(yùn)行原理 435
13．5　ELK常見(jiàn)應(yīng)用架構(gòu) 436
13．5．1　最簡(jiǎn)單的ELK架構(gòu) 436
13．5．2　典型ELK架構(gòu) 437
13．5．3　ELK集群架構(gòu) 438
13．6　用ELK+Filebeat+Kafka+ZooKeeper構(gòu)建大數(shù)據(jù)日志分析平臺(tái) 438
13．6．1　典型ELK應(yīng)用架構(gòu) 439
13．6．2　環(huán)境與角色說(shuō)明 439
13．6．3　安裝JDK并設(shè)置環(huán)境變量 440
13．6．4　安裝并配置Elasticsearch集群 441
13．6．5　安裝并配置ZooKeeper集群 450
13．6．6　安裝并配置Kafka Broker集群 452
13．6．7　安裝并配置Filebeat 457
13．6．8　安裝并配置Logstash服務(wù) 460
13．6．9　安裝并配置Kibana展示日志數(shù)據(jù) 466
13．6．10　調(diào)試并驗(yàn)證日志數(shù)據(jù)流向 470
13．7　Logstash配置語(yǔ)法詳解 472
13．7．1　Logstash基本語(yǔ)法組成 472
13．7．2　Logstash輸入插件 472
13．7．3　Logstash編碼插件
（codec） 476
13．7．4　Logstash過(guò)濾插件 477
13．7．5　Logstash輸出插件 488
13．8　ELK收集Apache訪問(wèn)日志實(shí)戰(zhàn)案例 489
13．8．1　ELK收集日志的幾種方式 490
13．8．2　ELK收集Apache訪問(wèn)日志的應(yīng)用架構(gòu) 490
13．8．3　Apache的日志格式與日志變量 491
13．8．4　自定義Apache日志格式 492
13．8．5　驗(yàn)證日志輸出 492
13．8．6　配置Filebeat 493
13．8．7　配置Logstash 494
13．8．8　配置Kibana 496
13．9　ELK收集Nginx訪問(wèn)日志實(shí)戰(zhàn)案例 498
13．9．1　ELK收集Nginx訪問(wèn)日志應(yīng)用架構(gòu) 498
13．9．2　Nginx的日志格式與日志變量 499
13．9．3　自定義Nginx日志格式 500
13．9．4　驗(yàn)證日志輸出 501
13．9．5　配置Filebeat 501
13．9．6　配置Logstash 502
13．9．7　配置Kibana 504
13．10　通過(guò)ELK收集MySQL慢查詢(xún)?nèi)罩緮?shù)據(jù) 505
13．10．1　開(kāi)啟慢查詢(xún)?nèi)罩?505
13．10．2　慢查詢(xún)?nèi)罩痉治?509
13．10．3　配置Filebeat收集MySQL慢查詢(xún)?nèi)罩?510
13．10．4　通過(guò)Logstash的grok插件過(guò)濾、分析MySQL配置日志 511
13．10．5　通過(guò)Kibana創(chuàng)建MySQL慢查詢(xún)?nèi)罩舅饕?513
13．11　通過(guò)ELK收集Tomcat訪問(wèn)日志和狀態(tài)日志 515
13．11．1　Tomcat日志解析 515
13．11．2　配置Tomcat的訪問(wèn)日志和運(yùn)行狀態(tài)日志 516
13．11．3　配置Filebeat 518
13．11．4　通過(guò)Logstash的grok插件過(guò)濾、分析Tomcat配置日志 519
13．11．5　配置Zabbix輸出并告警 521
13．11．6　通過(guò)Kibana平臺(tái)創(chuàng)建Tomcat訪問(wèn)日志索引 522
第14章　高可用分布式集群Hadoop部署全攻略 524
14．1　Hadoop生態(tài)圈知識(shí) 524
14．1．1　Hadoop生態(tài)概況 524
14．1．2　HDFS 525
14．1．3　MapReduce（分布式計(jì)算框架）離線計(jì)算 525
14．1．4　HBase（分布式列存數(shù)據(jù)庫(kù)） 525
14．1．5　ZooKeeper（分布式協(xié)作服務(wù)） 526
14．1．6　Hive（數(shù)據(jù)倉(cāng)庫(kù)） 526
14．1．7　Pig（ad-hoc腳本） 527
14．1．8　Sqoop（數(shù)據(jù)ETL/同步工具） 527
14．1．9　Flume（日志收集工具） 527
14．1．10　Oozie（工作流調(diào)度器） 527
14．1．11　YARN（分布式資源管理器） 527
14．1．12　Spark（內(nèi)存DAG計(jì)算模型） 529
14．1．13　Kafka（分布式消息隊(duì)列） 529
14．2　Hadoop的偽分布式部署 529
14．2．1　Hadoop發(fā)行版介紹 529
14．2．2　CDH發(fā)行版本 530
14．2．3　CDH與操作系統(tǒng)的依賴(lài) 530
14．2．4　偽分布式安裝Hadoop 530
14．2．5　使用Hadoop HDFS命令進(jìn)行分布式存儲(chǔ) 534
14．2．6　在Hadoop中運(yùn)行MapReduce程序 534
14．3　高可用Hadoop2．x體系結(jié)構(gòu) 535
14．3．1　兩個(gè)NameNode的地位關(guān)系 535
14．3．2　通過(guò)JournalNode保持NameNode元數(shù)據(jù)的一致性 535
14．3．3　NameNode的自動(dòng)切換功能 536
14．3．4　高可用Hadoop集群架構(gòu) 536
14．3．5　JournalNode集群 537
14．3．6　ZooKeeper集群 538
14．4　部署高可用的Hadoop大數(shù)據(jù)平臺(tái) 538
14．4．1　安裝配置環(huán)境介紹 539
14．4．2　ZooKeeper安裝過(guò)程 539
14．4．3　Hadoop的安裝 540
14．4．4　分布式Hadoop的配置 542
14．5　Hadoop集群?jiǎn)?dòng)過(guò)程 548
14．5．1　檢查各個(gè)節(jié)點(diǎn)的配置文件的正確性 549
14．5．2　啟動(dòng)ZooKeeper集群 549
14．5．3　格式化ZooKeeper集群 549
14．5．4　啟動(dòng)JournalNode 549
14．5．5　格式化集群NameNode 550
14．5．6　啟動(dòng)主節(jié)點(diǎn)的NameNode服務(wù) 550
14．5．7　NameNode主、備節(jié)點(diǎn)同步元數(shù)據(jù) 550
14．5．8　啟動(dòng)備機(jī)上的NameNode服務(wù) 551
14．5．9　啟動(dòng)ZKFC 551
14．5．10　啟動(dòng)DataNode服務(wù) 552
14．5．11　啟動(dòng)ResourceManager和
NodeManager服務(wù) 552
14．5．12　啟動(dòng)HistoryServer服務(wù) 552
14．6　Hadoop日常運(yùn)維問(wèn)題總結(jié) 553
14．6．1　下線DataNode 553
14．6．2　DataNode磁盤(pán)出現(xiàn)故障 554
14．6．3　安全模式導(dǎo)致的錯(cuò)誤 555
14．6．4　NodeManager出現(xiàn)Java heap space 555
14．6．5　Too many fetch-failures錯(cuò)誤 555
14．6．6　Exceeded MAX_FAILED_
UNIQUE_FETCHES; bailing-out錯(cuò)誤 555
14．6．7　java．net．NoRouteToHostException： No route to host錯(cuò)誤 556
14．6．8　新增DataNode 556
第15章　分布式文件系統(tǒng)HDFS與分布式計(jì)算YARN 558
15．1　分布式文件系統(tǒng)HDFS 558
15．1．1　HDFS結(jié)構(gòu)與架構(gòu) 558
15．1．2　名字節(jié)點(diǎn)工作機(jī)制 559
15．1．3　二級(jí)名字節(jié)點(diǎn)工作機(jī)制 560
15．1．4　HDFS運(yùn)行機(jī)制以及數(shù)據(jù)存儲(chǔ)單元（block） 561
15．1．5　HDFS寫(xiě)入數(shù)據(jù)流程解析 562
15．1．6　HDFS讀取數(shù)據(jù)流程解析 563
15．2　MapReduce與YARN的工作機(jī)制 564
15．2．1　第一代Hadoop組成與結(jié)構(gòu) 564
15．2．2　第二代Hadoop組成與結(jié)構(gòu) 566