Ceph企業(yè)級(jí)分布式存儲(chǔ)：原理與工程實(shí)踐

推薦序
前　言
第一部分　Ceph原理
第1章　Ceph概述2
1.1　軟件定義存儲(chǔ)2
1.1.1　基本概念介紹2
1.1.2　軟件定義存儲(chǔ)工作機(jī)制3
1.1.3　軟件定義存儲(chǔ)的優(yōu)勢(shì)4
1.2　Ceph的發(fā)展史5
1.2.1　研究階段5
1.2.2　孵化階段6
1.2.3　商業(yè)化階段7
1.2.4　成熟階段8
1.3　Ceph的市場(chǎng)分析9
1.3.1　存儲(chǔ)形態(tài)的轉(zhuǎn)型9
1.3.2　存儲(chǔ)形態(tài)演變的特點(diǎn)10
1.3.3　軟件定義存儲(chǔ)的市場(chǎng)分析11
1.4　Ceph的適用場(chǎng)景12
1.4.1　分析類應(yīng)用場(chǎng)景舉例13
1.4.2　IaaS云平臺(tái)應(yīng)用場(chǎng)景舉例14
1.4.3　富媒體和歸檔應(yīng)用場(chǎng)景舉例15
1.4.4　企業(yè)文件同步和共享應(yīng)用場(chǎng)景舉例16
1.4.5　服務(wù)器和應(yīng)用程序存儲(chǔ)場(chǎng)景舉例17
1.5　軟件定義存儲(chǔ)的商業(yè)產(chǎn)品18
1.6　本章小結(jié)20
第2章　Ceph架構(gòu)分析21
2.1　Ceph集群的組成架構(gòu)21
2.2　Monitor節(jié)點(diǎn)分析23
2.2.1　Ceph Cluster Map25
2.2.2　Ceph Monitor的Quorum機(jī)制25
2.2.3　Ceph Monitor一致性25
2.3　OSD節(jié)點(diǎn)分析26
2.3.1　運(yùn)行OSD所需服務(wù)器配置推薦26
2.3.2　OSD的Scrub29
2.3.3　回填OSD30
2.3.4　OSD恢復(fù)30
2.4　Manager節(jié)點(diǎn)分析30
2.5　Ceph對(duì)象存儲(chǔ)和對(duì)象網(wǎng)關(guān)31
2.5.1　對(duì)象存儲(chǔ)31
2.5.2　對(duì)象網(wǎng)關(guān)32
2.6　文件存儲(chǔ)元數(shù)據(jù)節(jié)點(diǎn)分析33
2.6.1　Ceph文件存儲(chǔ)34
2.6.2　CephFS限制因素34
2.7　iSCSI網(wǎng)關(guān)節(jié)點(diǎn)分析36
2.8　本章小結(jié)36
第3章　Ceph核心技術(shù)組件37
3.1　Ceph的關(guān)鍵特性37
3.2　存儲(chǔ)池39
3.2.1　Ceph技術(shù)組件的全景架構(gòu)39
3.2.2　存儲(chǔ)池定義的內(nèi)容40
3.3　Ceph認(rèn)證41
3.4　Ceph放置組42
3.4.1　PG基本概念42
3.4.2　放置組的計(jì)算方法43
3.4.3　PG和PGP的區(qū)別45
3.5　CRUSH算法46
3.6　Ceph數(shù)據(jù)副本49
3.7　Ceph糾刪碼49
3.8　Ceph對(duì)象存儲(chǔ)技術(shù)51
3.8.1　FileStore技術(shù)52
3.8.2　BlueStore技術(shù)54
3.9　Ceph心跳檢查55
3.10　Ceph Peering56
3.11　Ceph數(shù)據(jù)再平衡56
3.12　Ceph數(shù)據(jù)完整性57
3.13　本章小結(jié)58
第4章　Ceph客戶端組件59
4.1　Ceph支持的客戶端類型59
4.2　Ceph客戶端的Watch/Notify機(jī)制60
4.3　Ceph客戶端的獨(dú)占鎖61
4.4　Ceph客戶端的對(duì)象映射62
4.5　Ceph客戶端的數(shù)據(jù)條帶化63
4.6　本章小結(jié)65
第二部分　Ceph實(shí)戰(zhàn)
第5章　Ceph集群規(guī)劃68
5.1　版本規(guī)劃68
5.2　基礎(chǔ)環(huán)境規(guī)劃69
5.2.1　推薦使用的操作系統(tǒng)69
5.2.2　限制條件70
5.2.3　主要支持的特性71
5.3　服務(wù)器規(guī)劃71
5.3.1　追求良好的IOPS的場(chǎng)景71
5.3.2　追求良好的吞吐量場(chǎng)景72
5.3.3　追求低成本、高容量的場(chǎng)景73
5.3.4　實(shí)驗(yàn)環(huán)境下服務(wù)器的最小配置73
5.4　組網(wǎng)規(guī)劃74
5.4.1　組網(wǎng)規(guī)劃建議74
5.4.2　Ceph消息通信框架76
5.4.3　防火墻規(guī)劃76
5.5　本章小結(jié)77
第6章　Ceph集群安裝部署78
6.1　基礎(chǔ)環(huán)境準(zhǔn)備78
6.1.1　創(chuàng)建虛擬機(jī)79
6.1.2　配置服務(wù)器80
6.2　準(zhǔn)備安裝介質(zhì)81
6.3　安裝前檢查82
6.4　安裝Ceph85
6.5　集群檢查92
6.6　本章小結(jié)101
第7章　使用Ceph對(duì)象存儲(chǔ)102
7.1　部署對(duì)象網(wǎng)關(guān)102
7.2　通過S3接口使用對(duì)象存儲(chǔ)105
7.3　本章小結(jié)109
第8章　使用Ceph塊存儲(chǔ)110
8.1　創(chuàng)建和刪除池110
8.2　RBD設(shè)備的配置及使用112
8.3　RBD快照114
8.4　RBD Image克隆116
8.5　RBD Image數(shù)據(jù)的導(dǎo)入/導(dǎo)出117
8.6　本章小結(jié)117
第9章　使用Ceph文件存儲(chǔ)118
9.1　部署MDS118
9.2　使用CephFS120
9.3　CephFS擴(kuò)展屬性121
9.4　本章小結(jié)123
第10章　管理Ceph集群124
10.1　Ceph的常用命令124
10.2　配置CRUSH Map129
10.3　添加磁盤134
10.4　刪除磁盤137
10.5　本章小結(jié)138
第11章　Ceph容災(zāi)140
11.1　對(duì)象存儲(chǔ)容災(zāi) 141
11.1.1　對(duì)象存儲(chǔ)容災(zāi)概述141
11.1.2　Ceph對(duì)象網(wǎng)關(guān)多站點(diǎn)介紹141
11.1.3　配置多站點(diǎn)對(duì)象網(wǎng)關(guān)實(shí)現(xiàn)容災(zāi)142
11.2　RBD塊存儲(chǔ)容災(zāi)157
11.2.1　數(shù)據(jù)復(fù)制方向157
11.2.2　數(shù)據(jù)復(fù)制模式159
11.2.3　配置RBD Mirror159
11.3　文件存儲(chǔ)容災(zāi)164
11.4　本章小結(jié)164
第12章　調(diào)優(yōu)方法165
12.1　性能測(cè)試工具166
12.2　測(cè)試用例167
12.2.1　RBD測(cè)試用例167
12.2.2　網(wǎng)絡(luò)測(cè)試用例170
12.2.3　對(duì)象存儲(chǔ)測(cè)試171
12.2.4　RADOS測(cè)試用例172
12.3　推薦的調(diào)優(yōu)方向174
12.3.1　硬件調(diào)優(yōu)174
12.3.2　網(wǎng)絡(luò)調(diào)優(yōu)176
12.3.3　內(nèi)存調(diào)優(yōu)178
12.3.4　Scrub179
12.3.5　Ceph配置參數(shù)調(diào)優(yōu)179
12.4　本章小結(jié)180
第13章　故障定位方法181
13.1　獲取集群狀態(tài)181
13.2　診斷Monitor問題183
13.3　診斷對(duì)象問題184
13.4　數(shù)據(jù)平衡185
13.5　重要文件目錄185
13.6　使用Ceph集群的注意事