海量數(shù)據(jù)存儲

前言
教學建議
第1章　海量數(shù)據(jù)存儲的基本概念 /1
1.1　數(shù)據(jù)與數(shù)據(jù)存儲 /1
1.1.1　數(shù)據(jù)的基本概念 /1
1.1.2　數(shù)據(jù)存儲的基本概念 /3
1.2　物聯(lián)網(wǎng)與大數(shù)據(jù)時代面臨的機遇和挑戰(zhàn) /4
1.3　海量數(shù)據(jù)與海量數(shù)據(jù)存儲 /5
1.3.1　海量數(shù)據(jù)的基本概念 /5
1.3.2　海量數(shù)據(jù)的存儲 /6
1.4　本章小結(jié)與擴展閱讀 /7
思考題 /7
參考文獻 /7
第2章　數(shù)據(jù)存儲的基本原理 /8
2.1　數(shù)據(jù)存儲的實現(xiàn) /8
2.1.1　存儲介質(zhì)的不同狀態(tài) /8
2.1.2　存儲介質(zhì)的狀態(tài)感知 /10
2.1.3　存儲介質(zhì)的狀態(tài)轉(zhuǎn)換 /11
2.2　數(shù)據(jù)的寫入與讀出技術(shù) /11
2.3　數(shù)據(jù)存儲設(shè)備的發(fā)展歷史與分類 /12
2.3.1　數(shù)據(jù)存儲設(shè)備的發(fā)展歷史 /12
2.3.2　數(shù)據(jù)存儲設(shè)備的分類 /17
2.4　磁盤存儲器 /18
2.4.1　磁盤存儲器的基本結(jié)構(gòu) /18
2.4.2　磁盤存儲器的工作原理 /19
2.4.3　磁盤存儲器的性能指標 /20
2.4.4　磁盤存儲器的發(fā)展趨勢 /21
2.5　光盤存儲器 /21
2.5.1　光盤存儲器的發(fā)展過程 /22
2.5.2　光盤存儲器的基本原理 /24
2.5.3　光盤存儲器的發(fā)展趨勢 /28
2.6　數(shù)據(jù)存儲系統(tǒng) /30
2.6.1　數(shù)據(jù)存儲系統(tǒng)的基本概念 /30
2.6.2　Cache的工作原理與替換策略 /30
2.6.3　虛擬存儲器 /36
2.7　存儲系統(tǒng)實驗 /37
2.7.1　實驗一：虛擬磁盤（RamDisk） /37
2.7.2　實驗二：文件系統(tǒng)與目錄結(jié)構(gòu) /38
2.8　本章小結(jié)與擴展閱讀 /40
思考題 /40
參考文獻 /40
第3章　容錯磁盤陣列（RAID）的技術(shù)和應用 /42
3.1　RAID的工作原理 /42
3.1.1　磁盤陣列的基本概念 /42
3.1.2　磁盤陣列的特性 /44
3.1.3　磁盤陣列的若干專用術(shù)語 /45
3.2　RAID的分級與結(jié)構(gòu) /46
3.2.1　RAID0 /46
3.2.2　RAID1 /47
3.2.3　RAID2 /48
3.2.4　RAID3 /48
3.2.5　RAID4 /49
3.2.6　RAID5 /49
3.2.7　RAID6 /50
3.2.8　RAID7 /50
3.2.9　RAID0 + 1 /51
3.2.10　Matrix RAID /51
3.2.11　JBOD和NRAID /52
3.2.12　NV RAID /54
3.3　RAID的實現(xiàn)技術(shù) /54
3.3.1　概述 /54
3.3.2　軟件RAID的實現(xiàn)技術(shù) /55
3.3.3　硬件RAID的實現(xiàn)技術(shù) /62
3.4　RAID的性能指標與選購要點 /69
3.4.1　RAID的性能指標 /69
3.4.2　影響RAID性能的因素 /70
3.4.3　磁盤陣列控制器模式對比 /71
3.4.4　RAID的選購要點 /71
3.5　本章小結(jié)與擴展閱讀 /73
思考題 /73
參考文獻 /74
第4章　網(wǎng)絡存儲技術(shù) /75
4.1　概述 /75
4.1.1　網(wǎng)絡存儲的分類 /75
4.1.2　網(wǎng)絡存儲的發(fā)展趨勢 /76
4.2　DAS /77
4.3　NAS /80
4.3.1　NAS的主要特點 /80
4.3.2　NAS的基本結(jié)構(gòu) /81
4.3.3　NAS的工作原理 /81
4.3.4　NAS的應用 /83
4.3.5　NAS與DAS的比較 /86
4.3.6　NAS的選購要點 /88
4.4　SAN /90
4.4.1　SAN技術(shù)的產(chǎn)生 /90
4.4.2　SAN的結(jié)構(gòu)與工作原理 /92
4.4.3　SAN的應用 /95
4.4.4　NAS與SAN的比較 /101
4.4.5　融合NAS的SAN的發(fā)展趨勢 /102
4.5　iSCSI /104
4.5.1　iSCSI簡介 /104
4.5.2　iSCSI協(xié)議及實現(xiàn) /105
4.5.3　iSCSI的性能 /108
4.5.4　iSCSI的安全性問題 /109
4.5.5　iSCSI的可用性問題 /109
4.5.6　基于iSCSI的存儲系統(tǒng) /111
4.5.7　iSCSI的應用 /112
4.5.8　iSCSI磁盤陣列產(chǎn)品選購要點 /113
4.5.9　iSCSI的發(fā)展趨勢 /114
4.6　云存儲技術(shù) /115
4.6.1　概述 /116
4.6.2　云存儲的模型與應用 /117
4.6.3　云存儲的分類和管理工具 /121
4.6.4　基于云存儲技術(shù)實現(xiàn)在線備份的安全 /124
4.6.5　基于云的災難恢復功能 /126
4.7　本章小結(jié)與擴展閱讀 /127
思考題 /127
參考文獻 /127
第5章　海量存儲系統(tǒng)的體系結(jié)構(gòu)與管理 /128
5.1　海量存儲系統(tǒng)的體系結(jié)構(gòu) /128
5.1.1　多級存儲層次的基本概念 /128
5.1.2　多級存儲層次的性能分析 /130
5.2　分布式文件系統(tǒng) /131
5.2.1　分布式文件系統(tǒng)的基本概念 /131
5.2.2　分布式文件系統(tǒng)的關(guān)鍵技術(shù) /135
5.2.3　Ceph：一個Linux PB級分布式文件系統(tǒng) /136
5.3　Hadoop及數(shù)據(jù)分布式管理 /138
5.3.1　Hadoop的基本概念 /138
5.3.2　Hadoop的實現(xiàn) /139
5.3.3　Hadoop的應用 /140
5.4　海量傳感數(shù)據(jù)管理系統(tǒng)的設(shè)計 /141
5.4.1　海量傳感數(shù)據(jù)管理系統(tǒng)的設(shè)計要求 /141
5.4.2　海量傳感數(shù)據(jù)管理系統(tǒng)的總體結(jié)構(gòu) /142
5.4.3　HBase數(shù)據(jù)庫設(shè)計 /142
5.4.4　傳感數(shù)據(jù)存儲管理功能 /142
5.4.5　傳感數(shù)據(jù)查看功能 /143
5.5　適應新型存儲介質(zhì)的存儲體系結(jié)構(gòu) /143
5.5.1　存儲體系結(jié)構(gòu)的變化 /143
5.5.2　面向新型存儲介質(zhì)的存儲體系結(jié)構(gòu) /146
5.6　本章小結(jié)與擴展閱讀 /147
思考題 /148
參考文獻 /148
第6章　存儲管理自動化與優(yōu)化技術(shù) /149
6.1　存儲管理的自動化與標準化 /149
6.1.1　為什么需要存儲管理自動化 /149
6.1.2　哪些存儲管理工作可以自動化 /150
6.1.3　存儲管理自動化的實現(xiàn) /151
6.1.4　存儲管理的標準化 /152
6.1.5　SMI-S的主要技術(shù)特性及應用 /153
6.2　虛擬存儲技術(shù) /155
6.2.1　虛擬存儲的特點 /155
6.2.2　存儲虛擬化的關(guān)鍵技術(shù) /156
6.2.3　虛擬存儲的實現(xiàn)模式 /156
6.2.4　存儲虛擬化的應對措施 /158
6.3　軟件定義存儲 /159
6.3.1　軟件定義存儲的基本概念 /159
6.3.2　軟件定義存儲的體系結(jié)構(gòu) /160
6.3.3　軟件定義存儲的理念對存儲體系設(shè)計的影響 /161
6.3.4　軟件定義存儲實施過程需要考慮的問題 /162
6.3.5　軟件定義存儲的發(fā)展趨勢 /163
6.4　數(shù)據(jù)備份與恢復 /163
6.4.1　數(shù)據(jù)備份與恢復的必要性 /163
6.4.2　數(shù)據(jù)備份與恢復的基本概念 /164
6.4.3　容災與災難恢復 /166
6.4.4　連續(xù)數(shù)據(jù)保護技術(shù) /168
6.4.5　個人備份工具CrashPlan /172
6.5　重復數(shù)據(jù)刪除 /176
6.5.1　重復數(shù)據(jù)刪除的基本概念 /176
6.5.2　重復數(shù)據(jù)刪除的基本方法 /177
6.5.3　重復數(shù)據(jù)刪除的關(guān)鍵技術(shù) /178
6.5.4　源端重復數(shù)據(jù)刪除的利與弊 /179
6.5.5　重復數(shù)據(jù)刪除解決方案實例 /180
6.6　本章小結(jié)與擴展閱讀 /181
思考題 /182
參考文獻 /182
第7章　存儲技術(shù)在物聯(lián)網(wǎng)中的應用 /183
7.1　物聯(lián)網(wǎng)數(shù)據(jù)的特征與存儲需求 /183
7.1.1　物聯(lián)網(wǎng)數(shù)據(jù)的特征 /184
7.1.2　物聯(lián)網(wǎng)數(shù)據(jù)的存儲需求 /185
7.1.3　物聯(lián)網(wǎng)數(shù)據(jù)存儲系統(tǒng)的評價指標 /185
7.2　物聯(lián)網(wǎng)數(shù)據(jù)存儲模式及實現(xiàn)技術(shù) /186
7.2.1　物聯(lián)網(wǎng)數(shù)據(jù)存儲模式分類 /186
7.2.2　物聯(lián)網(wǎng)典型的存儲實現(xiàn)技術(shù) /186
7.2.3　物聯(lián)網(wǎng)存儲模式的比較分析 /189
7.2.4　物聯(lián)網(wǎng)數(shù)據(jù)存儲技術(shù)的發(fā)展趨勢 /190
7.3　物聯(lián)網(wǎng)數(shù)據(jù)存儲的高效解決方案 /190
7.3.1　物聯(lián)網(wǎng)數(shù)據(jù)存儲面臨的挑戰(zhàn) /191
7.3.2　物聯(lián)網(wǎng)數(shù)據(jù)存儲的研究基礎(chǔ) /191
7.3.3　物聯(lián)網(wǎng)數(shù)據(jù)存儲的體系結(jié)構(gòu) /192
7.3.4　物聯(lián)網(wǎng)數(shù)據(jù)存儲的實現(xiàn)方法 /193
7.3.5　實例研究和討論 /196
7.4　物聯(lián)網(wǎng)數(shù)據(jù)中心設(shè)計的關(guān)鍵技術(shù) /198
7.4.1　物聯(lián)網(wǎng)數(shù)據(jù)中心面臨的挑戰(zhàn) /199
7.4.2　物聯(lián)網(wǎng)數(shù)據(jù)中心的總體結(jié)構(gòu) /200
7.4.3　物聯(lián)網(wǎng)數(shù)據(jù)中心的應用 /203
7.5　TinyOS中的數(shù)據(jù)存儲 /205
7.5.1　TinyOS簡介 /205
7.5.2　卷 /206
7.5.3　存儲配置數(shù)據(jù) /206
7.5.4　存儲日志數(shù)據(jù) /210
7.5.5　存儲大數(shù)據(jù)塊 /212
7.6　無線傳感器網(wǎng)絡中的容錯數(shù)據(jù)存儲技術(shù) /212
7.6.1　概述 /213
7.6.2　WSN容錯存儲的相關(guān)研究進展 /213
7.6.3　設(shè)計WSN容錯存儲方案應考慮的因素 /214
7.6.4　備份與恢復機制 /216
7.6.5　性能評價 /218
7.7　本章小結(jié)與擴展閱讀 /220
思考題 /221
參考文獻 /221
第8章　新型存儲技術(shù)及發(fā)展趨勢 /222
8.1　存儲介質(zhì) /222
8.1.1　磁存儲介質(zhì) /222
8.1.2　光存儲介質(zhì) /227
8.1.3　半導體存儲器 /229
8.1.4　DNA存儲 /230
8.1.5　基于納米顆粒的存儲技術(shù) /232
8.2　固態(tài)硬盤技術(shù) /232
8.2.1　固態(tài)硬盤的結(jié)構(gòu)與性能優(yōu)化 /233
8.2.2　閃存感知的RAID技術(shù) /237
8.2.3　基于PCIe接口的閃存陣列 /245
8.3　鐵電存儲器 /249
8.4　相變存儲器 /250
8.5　阻變存儲器 /251
8.6　自旋轉(zhuǎn)移矩磁存儲器 /254
8.7　本章小結(jié)與擴展閱讀 /257
思考題 /258
參考文獻 /258