高性能Linux服務(wù)器構(gòu)建實戰(zhàn)：系統(tǒng)安全、故障排查、自動化運(yùn)維與集群架構(gòu)

前言
第一部分　安全運(yùn)維篇
第1章　Linux服務(wù)器安全運(yùn)維 3
1.1　賬戶和登錄安全 3
1.1.1　刪除特殊的用戶和用戶組 3
1.1.2　關(guān)閉系統(tǒng)不需要的服務(wù) 4
1.1.3　密碼安全策略 5
1.1.4　合理使用su、sudo命令 9
1.1.5　刪減系統(tǒng)登錄歡迎信息 11
1.1.6　禁止Control-Alt-Delete鍵盤關(guān)閉命令 12
1.2　遠(yuǎn)程訪問和認(rèn)證安全 12
1.2.1　遠(yuǎn)程登錄取消telnet而采用SSH方式 12
1.2.2　合理使用shell歷史命令記錄功能 14
1.2.3　啟用tcp_wrappers防火墻 16
1.3　文件系統(tǒng)安全 18
1.3.1　鎖定系統(tǒng)重要文件 18
1.3.2　文件權(quán)限檢查和修改 20
1.3.3　/tmp、/var/tmp、/dev/shm安全設(shè)定 21
1.4　系統(tǒng)軟件安全管理 22
1.4.1　軟件自動升級工具yum 23
1.4.2　yum的安裝與配置 23
1.4.3　yum的特點與基本用法 25
1.4.4　幾個不錯的yum源 27
1.5　Linux后門入侵檢測工具 28
1.5.1　rootkit后門檢測工具chkrootkit 29
1.5.2　rootkit后門檢測工具RKHunter 31
1.6　服務(wù)器遭受攻擊后的處理過程 35
1.6.1　處理服務(wù)器遭受攻擊的一般思路 35
1.6.2　檢查并鎖定可疑用戶 36
1.6.3　查看系統(tǒng)日志 37
1.6.4　檢查并關(guān)閉系統(tǒng)可疑進(jìn)程 37
1.6.5　檢查文件系統(tǒng)的完好性 38
1.7　一次Linux被入侵后的分析 39
1.7.1　受攻擊現(xiàn)象 39
1.7.2　初步分析 40
1.7.3　斷網(wǎng)分析系統(tǒng) 40
1.7.4 　尋找攻擊源 41
1.7.5　查找攻擊原因 42
1.7.6　揭開謎團(tuán) 43
1.7.7　如何恢復(fù)網(wǎng)站 43
第2章　Linux網(wǎng)絡(luò)安全運(yùn)維 45
2.1　網(wǎng)絡(luò)實時流量監(jiān)測工具iftop 45
2.1.1　iftop能做什么 45
2.1.2　iftop的安裝 45
2.1.3　使用iftop監(jiān)控網(wǎng)卡實時流量 46
2.2　網(wǎng)絡(luò)流量監(jiān)控與分析工具Ntop和Ntopng 49
2.2.1　Ntop與MRTG的異同 49
2.2.2　Ntop與Ntopng的功能介紹 49
2.2.3　安裝Ntop與Ntopng 50
2.2.4　Ntop和Ntopng的使用技巧 53
2.3　網(wǎng)絡(luò)性能評估工具iperf 60
2.3.1　iperf能做什么 60
2.3.2　iperf的安裝與使用 61
2.3.3　iperf應(yīng)用實例 62
2.4　網(wǎng)絡(luò)探測和安全審核工具nmap 67
2.4.1　nmap和Zenmap簡介 67
2.4.2　nmap基本功能與結(jié)構(gòu) 67
2.4.3　nmap的安裝與驗證 68
2.4.4　nmap的典型用法 68
2.4.5　nmap主機(jī)發(fā)現(xiàn)掃描 70
2.4.6　nmap端口掃描 71
2.4.7　nmap版本偵測 73
2.4.8　nmap操作系統(tǒng)偵測 74
第3章　數(shù)據(jù)安全工具DRBD、extundelete 77
3.1　數(shù)據(jù)鏡像軟件DRBD介紹 77
3.1.1　DRBD的基本功能 77
3.1.2　DRBD的構(gòu)成 78
3.1.3　DRBD與現(xiàn)在的集群的關(guān)系 78
3.1.4　DRBD的主要特性 79
3.2　DRDB的安裝與配置 80
3.2.1　安裝環(huán)境說明 80
3.2.2　DRBD的安裝部署 81
3.2.3　快速配置一個DRBD鏡像系統(tǒng) 82
3.3　DRBD的管理與維護(hù) 83
3.3.1　啟動DRDB 83
3.3.2　測試DRBD數(shù)據(jù)鏡像 85
3.3.3　DRBD主備節(jié)點切換 86
3.4　數(shù)據(jù)恢復(fù)軟件extundelete介紹 88
3.4.1　如何使用“rm -rf”命令 88
3.4.2　extundelete與ext3grep的異同 89
3.4.3　extundelete的恢復(fù)原理 89
3.4.4　安裝extundelete 89
3.4.5　extundelete用法詳解 90
3.5　實戰(zhàn)：extundelete恢復(fù)數(shù)據(jù)的過程 91
3.5.1　通過extundelete恢復(fù)單個文件 91
3.5.2　通過extundelete恢復(fù)單個目錄 93
3.5.3　通過extundelete恢復(fù)所有誤刪除數(shù)據(jù) 93
3.5.4　通過extundelete恢復(fù)某個時間段的數(shù)據(jù) 94
第二部分　運(yùn)維故障排查篇
第4章　Linux系統(tǒng)運(yùn)維故障排查思路 97
4.1　Linux系統(tǒng)故障的處理思路 97
4.2　Linux系統(tǒng)無法啟動的解決方法 98
4.2.1　文件系統(tǒng)破壞導(dǎo)致系統(tǒng)無法啟動 98
4.2.2　/etc/fstab文件丟失導(dǎo)致系統(tǒng)無法啟動 100
4.3　Linux系統(tǒng)無響應(yīng)（死機(jī)）問題分析 104
4.4　Linux下常見網(wǎng)絡(luò)故障的處理思路 105
4.4.1　檢查網(wǎng)絡(luò)硬件問題 105
4.4.2　檢查網(wǎng)卡是否正常工作 105
4.4.3　檢查DNS解析文件是否設(shè)置正確 106
4.4.4　檢查服務(wù)是否正常打開 107
4.4.5　檢查訪問權(quán)限是否打開 108
4.4.6　檢查局域網(wǎng)主機(jī)之間聯(lián)機(jī)是否正常 109
第5章　Linux故障排查案例實戰(zhàn) 111
5.1　常見系統(tǒng)故障案例 111
5.1.1　su切換用戶帶來的疑惑 111
5.1.2　“Read-only file system”錯誤與解決方法 114
5.1.3　“Argument list too long”錯誤與解決方法 116
5.1.4　inode耗盡導(dǎo)致應(yīng)用故障 119
5.1.5　文件已刪除但空間不釋放的原因 121
5.1.6　“Too many open files”錯誤與解決方法 124
5.2　Apache常見錯誤故障案例 127
5.2.1　“No space left on device”錯誤與解決方法 127
5.2.2　apache(20014)故障與解決方法 129
5.2.3　“could not bind to address 0.0.0.0:80”錯誤與解決方法 131
5.3　因NAS存儲故障引起的Linux系統(tǒng)恢復(fù)案例 134
5.3.1　故障現(xiàn)象描述 134
5.3.2　問題判斷思路 134
5.3.3　問題處理過程 134
5.3.4　解決問題 137
第三部分　自動化運(yùn)維篇
第6章　輕量級運(yùn)維利器pssh、pdsh和mussh 141
6.1　并行SSH運(yùn)維工具pssh 141
6.1.1　pssh應(yīng)用場景 141
6.1.2　pssh的安裝與用法 142
6.1.3　pssh應(yīng)用實例 144
6.2　并行分布式運(yùn)維工具pdsh 147
6.2.1　pdsh應(yīng)用場景 147
6.2.2　pdsh的安裝與語法 148
6.2.3　pdsh應(yīng)用實例 149
6.3　多主機(jī)ssh封裝器mussh 153
6.3.1　mussh功能介紹 153
6.3.2　mussh的安裝與語法 153
6.3.3　mussh應(yīng)用實例 154
第7章　分布式監(jiān)控系統(tǒng)Ganglia 157
7.1　Ganglia簡介 157
7.2　Ganglia的組成 157
7.3　Ganglia的工作原理 159
7.3.1　Ganglia數(shù)據(jù)流向分析 159
7.3.2　Ganglia工作模式 160
7.4　Ganglia的安裝 161
7.4.1　yum源安裝方式 161
7.4.2　源碼方式 162
7.5　配置一個Ganglia分布式監(jiān)控系統(tǒng) 164
7.5.1　Ganglia配置文件介紹 164
7.5.2　Ganglia監(jiān)控系統(tǒng)架構(gòu)圖 164
7.5.3　Ganglia監(jiān)控管理端配置 164
7.5.4　Ganglia的客戶端配置 165
7.5.5　Ganglia的Web端配置 166
7.6　Ganglia監(jiān)控系統(tǒng)的管理和維護(hù) 167
7.7　Ganglia監(jiān)控擴(kuò)展實現(xiàn)機(jī)制 169
7.7.1　擴(kuò)展Ganglia監(jiān)控功能的方法 169
7.7.2　通過gmetric接口擴(kuò)展Ganglia監(jiān)控 169
7.7.3　通過Python插件擴(kuò)展Ganglia監(jiān)控 170
7.7.4　實戰(zhàn)：利用Python接口監(jiān)控Nginx運(yùn)行狀態(tài) 171
7.8　Ganglia在實際應(yīng)用中要考慮的問題 174
7.8.1　網(wǎng)絡(luò)IO可能存在瓶頸 174
7.8.2　CPU可能存在瓶頸 175
7.8.3　gmetad寫入rrd數(shù)據(jù)庫可能存在瓶頸 175
第8章　基于nagios的分布式監(jiān)控報警平臺Centreon 177
8.1　Centreon概述 177
8.2　Centreon的特點 177
8.3　Centreon的結(jié)構(gòu) 178
8.4　安裝Centreon+nagios監(jiān)控系統(tǒng) 179
8.4.1　安裝支持Centreon的yum源 180
8.4.2　安裝系統(tǒng)基礎(chǔ)依賴庫 180
8.4.3　安裝nagios及nagios-plugins 181
8.4.4　安裝ndoutils 181
8.4.5　安裝nrpe 182
8.4.6　安裝Centreon 182
8.4.7　安裝配置Centreon Web 191
8.4.8　啟動Centreon相關(guān)服務(wù) 195
8.4.9　安裝問題總結(jié) 196
8.5　配置Centreon監(jiān)控系統(tǒng) 197
8.5.1　添加主機(jī)和主機(jī)組 197
8.5.2　批量添加主機(jī) 202
8.5.3　監(jiān)控引擎管理 206
8.5.4　添加服務(wù)和服務(wù)組 207
8.5.5　監(jiān)控報警配置 211
8.5.6　用戶和用戶權(quán)限管理 217
8.6　配置分布式監(jiān)控 222
8.6.1　分布式監(jiān)控架構(gòu)與實現(xiàn)原理 222
8.6.2　分布式監(jiān)控搭建環(huán)境介紹 223
8.6.3　監(jiān)控軟件的安裝 224
8.6.4　配置節(jié)點間SSH信任登錄 224
8.6.5　在Central server上添加分布式監(jiān)控配置 226
8.7　常見服務(wù)監(jiān)控配置 230
8.7.1　 nagios插件編寫規(guī)范 231
8.7.2　監(jiān)控Apache運(yùn)行狀態(tài) 231
8.7.3　監(jiān)控MySQL運(yùn)行狀態(tài) 234
8.7.4　監(jiān)控Hadoop HDFS運(yùn)行狀態(tài) 237
8.8　桌面監(jiān)控報警器Nagstamon 239
第9章　通過Ganglia與Centreon構(gòu)建智能化監(jiān)控報警平臺 243
9.1　智能運(yùn)維監(jiān)控報警平臺的組成 243
9.2　Ganglia作為數(shù)據(jù)收集模塊 246
9.3　Centreon作為監(jiān)控報警模塊 246
9.4　Ganglia與Centreon的無縫整合 247
9.4.1　數(shù)據(jù)提取腳本 247
9.4.2　實現(xiàn)Ganglia與Centreon完美整合 256
9.5　在Centreon中實現(xiàn)批量數(shù)據(jù)收集與監(jiān)控報警 259
第四部分　集群架構(gòu)篇
第10章　高性能Web服務(wù)器Nginx 267
10.1　高性能Web服務(wù)器Nginx介紹 267
10.1.1　Nginx的組成與工作原理 267
10.1.2　Nginx的性能優(yōu)勢 268
10.2　Nginx的安裝 269
10.2.1　安裝Nginx依賴庫 269
10.2.2　快速安裝Nginx 270
10.3　配置與調(diào)試Nginx 270
10.3.1　Nginx配置文件結(jié)構(gòu) 270
10.3.2　Nginx配置文件詳解 270
10.3.3　Nginx日常維護(hù)技巧 276
10.4　Nginx常用功能介紹 278
10.4.1　Nginx反向代理應(yīng)用實例 278
10.4.2　Nginx的URL重寫應(yīng)用實例 282
10.5　案例：Nginx作為Web緩存服務(wù)器應(yīng)用 286
10.5.1　在Nginx下安裝緩存服務(wù)器 286
10.5.2　配置Nginx緩存服務(wù)器 287
10.5.3　測試proxy_cache實現(xiàn)的緩存功能 289
10.5.4　如何清除指定的URL緩存 290
10.6　案例：Nginx作為負(fù)載均衡服務(wù)器應(yīng)用 290
10.6.1　Nginx的負(fù)載均衡算法 291
10.6.2　Nginx的負(fù)載均衡配置實例 291
10.7　Nginx性能優(yōu)化技巧 292
10.7.1　編譯安裝過程優(yōu)化 292
10.7.2　利用TCMalloc優(yōu)化Nginx的性能 293
10.7.3　Nginx內(nèi)核參數(shù)優(yōu)化 295
第11章　高性能集群軟件Keepalived 297
11.1　Keepalived介紹 297
11.1.1　Keepalived是什么 297
11.1.2　VRRP協(xié)議與工作原理 298
11.1.3　Keepalived工作原理 298
11.1.4　Keepalived的體系結(jié)構(gòu) 299
11.2　Keepalived安裝與配置 301
11.2.1　Keepalived的安裝過程 301
11.2.2　Keepalived的全局配置 303
11.2.3　Keepalived的VRRPD配置 303
11.2.4　Keepalived的LVS配置 307
11.3　Keepalived基礎(chǔ)功能應(yīng)用實例 310
11.3.1　Keepalived基礎(chǔ)HA功能演示 310
11.3.2　通過vrrp_script實現(xiàn)對集群資源的監(jiān)控 316
11.3.3　Keepalived集群中MASTER和BACKUP角色選舉策略 319
第12章　千萬級高并發(fā)負(fù)載均衡軟件HAProxy 323
12.1　高性能負(fù)載均衡軟件HAProxy介紹 323
12.1.1　HAProxy簡介 323
12.1.2　四層和七層負(fù)載均衡的區(qū)別 324
12.1.3　HAProxy與LVS的異同 325
12.2　HAProxy基礎(chǔ)配置與應(yīng)用實例 326
12.2.1　快速安裝HAProxy集群軟件 326
12.2.2　HAProxy基礎(chǔ)配置文件詳解 326
12.2.3　HAProxy的日志配置策略 333
12.2.4　通過HAProxy的ACL規(guī)則實現(xiàn)智能負(fù)載均衡 334
12.3　基于虛擬主機(jī)的HAProxy負(fù)載均衡系統(tǒng)配置實例 335
12.3.1　通過HAProxy的ACL規(guī)則配置虛擬主機(jī) 335
12.3.2　測試HAProxy實現(xiàn)虛擬主機(jī)和負(fù)載均衡功能 343
12.3.3　測試HAProxy的故障轉(zhuǎn)移功能 343
12.3.4　使用HAProxy的Web監(jiān)控平臺 343
第13章　構(gòu)建高性能的MySQL集群系統(tǒng) 345
13.1　常見的高可用MySQL解決方案 345
13.1.1　主從復(fù)制解決方案 345
13.1.2　MMM高可用解決方案 346
13.1.3　Heartbeat/SAN高可用解決方案 346
13.1.4　Heartbeat/DRBD高可用解決方案 346
13.1.5　MySQL Cluster高可用解決方案 347
13.2　通過Keepalived搭建MySQL雙主模式的高可用集群系統(tǒng) 347
13.2.1　MySQLReplication介紹 347
13.2.2　MySQL Replication實現(xiàn)原理 348
13.2.3　MySQL Replication常用架構(gòu) 349
13.2.4　MySQL主主互備模式架構(gòu) 349
13.2.5　MySQL主主互備模式配置 350
13.2.6　配置Keepalived實現(xiàn)MySQL雙主高可用 353
13.2.7　測試MySQL主從同步功能 356
13.2.8　測試Keepalived實現(xiàn)MySQL故障轉(zhuǎn)移 358
13.3　通過MMM構(gòu)建MySQL高可用集群系統(tǒng) 360
13.3.1　MMM高可用MySQL方案簡介 360
13.3.2　MMM典型應(yīng)用方案 361
13.3.3　MMM高可用MySQL方案架構(gòu) 363
13.3.4　MMM的安裝與配置 364
13.3.5　MMM的管理 368
13.3.6　測試MMM實現(xiàn)MySQL高可用功能 371
13.4　MySQL讀寫分離解決方案 374
13.4.1　通過Amoeba實現(xiàn)MySQL讀寫分離 374
13.4.2　通過Keepalived構(gòu)建高可用的Amoeba服務(wù) 382
第14章　高性能負(fù)載均衡集群軟件HAProxy 383
14.1　高性能負(fù)載均衡架構(gòu)設(shè)計原則 383
14.1.1　HAProxy常見方案與拓?fù)?384
14.1.2　高可用集群軟件的選擇 386
14.2　搭建HAProxy+Keepalived高可用負(fù)載均衡系統(tǒng) 386
14.2.1　搭建環(huán)境描述 386
14.2.2　配置HAProxy負(fù)載均衡服務(wù)器 387
14.2.3　配置主、備Keepalived服務(wù)器 389
14.3　測試HAProxy+Keepalived高可用負(fù)載均衡集群 392
14.3.1　測試Keepalived的高可用功能 392
14.3.2　測試負(fù)載均衡功能 394
14.4　構(gòu)建雙主高可用的HAProxy負(fù)載均衡系統(tǒng) 394
14.4.1　系統(tǒng)架構(gòu)圖與實現(xiàn)原理 394
14.4.2　安裝并配置HAProxy集群系統(tǒng) 395
14.4.3　安裝并配置雙主的Keepalived高可用系統(tǒng) 397
14.4.4　測試雙主高可用的HAProxy負(fù)載均衡集群系統(tǒng)