云計(jì)算解密：技術(shù)原理及應(yīng)用實(shí)踐

目錄
理 論 篇
第1章 緒論 3
1．1 計(jì)算模式演化 3
1．1．1 集中式計(jì)算模式 3
1．1．2 桌面計(jì)算模式 4
1．1．3 分布式計(jì)算模式 4
1．2 分布式計(jì)算 4
1．2．1 分布式計(jì)算概述 5
1．2．2 分布式計(jì)算結(jié)構(gòu) 6
1．2．3 典型分布式計(jì)算技術(shù) 7
1．3 云計(jì)算 12
1．3．1 云計(jì)算的產(chǎn)生背景 12
1．3．2 云計(jì)算概述 13
1．3．3 云計(jì)算與網(wǎng)格計(jì)算 19
1．4 云計(jì)算的關(guān)鍵技術(shù) 21
1．4．1 虛擬化 21
1．4．2 資源管理與調(diào)度 21
1．4．3 文件系統(tǒng) 22
1．4．4 數(shù)據(jù)存儲(chǔ) 22
1．4．5 云安全 22
1．4．6 編程模式 23
1．4．7 能耗管理 23
1．5 典型云計(jì)算平臺(tái) 23
1．5．1 Google云計(jì)算平臺(tái) 23
1．5．2 Amazon云計(jì)算 25
1．5．3 IBM的藍(lán)云平臺(tái) 26
1．5．4 Microsoft云計(jì)算 27
1．5．5 開(kāi)源云計(jì)算平臺(tái) 29
參考文獻(xiàn) 32
第2章 并行計(jì)算編程模型 35
2．1 并行編程模型概述 35
2．1．1 共享存儲(chǔ)編程模型 36
2．1．2 消息傳遞模型 37
2．1．3 分布并行編程模型 38
2．2 并行編程模型MapReduce 38
2．2．1 MapReduce概述 38
2．2．2 MapReduce編程模型 40
2．2．3 MapReduce的主要設(shè)計(jì)思想 43
2．2．4 MapReduce執(zhí)行流程 44
2．2．5 MapReduce的核心技術(shù) 46
2．2．6 MapReduce技術(shù)研究 47
2．3 集群上的MapReduce實(shí)現(xiàn)――Hadoop 48
2．3．1 Hadoop項(xiàng)目簡(jiǎn)介 48
2．3．2 Hadoop與Google 53
2．3．3 MapReduce運(yùn)行機(jī)制 54
2．3．4 MapReduce執(zhí)行流程 60
2．3．5 MapReduce的核心技術(shù) 62
2．3．6 Hadoop YARN簡(jiǎn)介 63
2．3．7 典型案例剖析 65
2．3．8 MapReduce新舊API比較 73
2．4 MapReduce模型的其他實(shí)現(xiàn) 73
2．4．1 多核上的MapReduce實(shí)現(xiàn) 74
2．4．2 GPU上的MapReduce實(shí)現(xiàn) 75
參考文獻(xiàn) 76
第3章 分布式文件系統(tǒng) 78
3．1 概述 78
3．1．1 什么是分布式文件系統(tǒng) 78
3．1．2 分布式文件系統(tǒng)的發(fā)展歷史 79
3．1．3 分布式文件系統(tǒng)的體系結(jié)構(gòu) 82
3．1．4 分布式文件系統(tǒng)的關(guān)鍵技術(shù) 83
3．2 GFS文件系統(tǒng) 84
3．2．1 GFS的設(shè)計(jì)原則 84
3．2．2 GFS體系結(jié)構(gòu) 87
3．2．3 GFS工作流程 88
3．3 HDFS分布式文件系統(tǒng) 90
3．3．1 HDFS的設(shè)計(jì)目標(biāo) 90
3．3．2 HDFS體系結(jié)構(gòu) 91
3．3．3 HDFS故障處理 94
3．3．4 副本管理 94
3．3．5 HDFS工作流程 98
3．3．6 HDFS與GFS 101
3．3．7 HDFS聯(lián)盟介紹 102
3．4 分布式鎖服務(wù)Chubby 103
3．4．1 一致性問(wèn)題 103
3．4．2 Paxos算法簡(jiǎn)介 104
3．4．3 Chubby概述 109
3．4．4 Chubby架構(gòu) 110
3．5 分布式應(yīng)用協(xié)調(diào)器Zookeeper 112
3．5．1 Zookeeper概述 112
3．5．2 Zookeeper的數(shù)據(jù)結(jié)構(gòu) 113
3．5．3 Zookeeper架構(gòu) 114
3．5．4 Zookeeper的工作原理 116
3．5．5 Zookeeper應(yīng)用場(chǎng)景 118
3．6 云存儲(chǔ) 119
3．6．1 概述 119
3．6．2 云存儲(chǔ)的分類 119
3．6．3 云存儲(chǔ)的結(jié)構(gòu)模型 120
3．6．4 典型云存儲(chǔ)系統(tǒng) 121
參考文獻(xiàn) 122
第4章 分布式數(shù)據(jù)存儲(chǔ)系統(tǒng) 124
4．1 概述 124
4．2 NoSQL數(shù)據(jù)庫(kù)簡(jiǎn)介 125
4．2．1 NoSQL的起源與發(fā)展 125
4．2．2 NoSQL概述 126
4．2．3 NoSQL系統(tǒng)架構(gòu) 127
4．2．4 NoSQL的數(shù)據(jù)模型 128
4．2．5 NoSQL的理論基礎(chǔ) 131
4．2．6 NoSQL數(shù)據(jù)庫(kù)體系結(jié)構(gòu) 134
4．2．7 NoSQL與SQL的比較 135
4．3 面向列存儲(chǔ)系統(tǒng)BigTable 136
4．3．1 概述 136
4．3．2 數(shù)據(jù)模型 137
4．3．3 系統(tǒng)架構(gòu) 138
4．4 面向列存儲(chǔ)系統(tǒng)HBase 143
4．4．1 HBase概述 143
4．4．2 HBase的數(shù)據(jù)模型 143
4．4．3 HBase架構(gòu)及實(shí)現(xiàn) 146
4．4．4 HBase與BigTable的比較 151
參考文獻(xiàn) 152
技 術(shù) 篇
第5章 云數(shù)據(jù)中心節(jié)能技術(shù) 157
5．1 數(shù)據(jù)中心概述 157
5．1．1 數(shù)據(jù)中心發(fā)展歷史 157
5．1．2 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu) 158
5．1．3 云數(shù)據(jù)中心 160
5．2 云數(shù)據(jù)中心節(jié)能技術(shù) 161
5．2．1 硬件設(shè)施 162
5．2．2 系統(tǒng)架構(gòu) 162
5．2．3 軟件方式 163
5．2．4 數(shù)據(jù)中心的能耗模型 166
5．3 網(wǎng)絡(luò)感知節(jié)能調(diào)度算法DENS 167
5．3．1 DENS算法原理 167
5．3．2 DENS算法實(shí)現(xiàn) 168
5．3．3 改進(jìn)的DENS算法 169
5．4 基于超圖的存儲(chǔ)優(yōu)化節(jié)能算法 172
5．4．1 問(wèn)題提出 172
5．4．2 CS方法 172
5．4．3 基于超圖的副本存儲(chǔ)優(yōu)化節(jié)能算法 174
5．4．4 作業(yè)靜態(tài)分配算法 176
5．4．5 動(dòng)態(tài)副本遷移算法的相關(guān)分析 176
5．4．6 異構(gòu)集群能效分析 177
5．4．7 覆蓋集發(fā)現(xiàn)算法CS-k 178
5．4．8 基于超圖的副本節(jié)能算法描述 178
5．4．9 實(shí)驗(yàn)結(jié)果及分析 182
參考文獻(xiàn) 186
第6章 Hadoop集群的作業(yè)調(diào)度 189
6．1 集群與作業(yè)調(diào)度 189
6．1．1 集群簡(jiǎn)介 189
6．1．2 作業(yè)調(diào)度系統(tǒng) 192
6．1．3 經(jīng)典作業(yè)調(diào)度算法 193
6．1．4 PBS作業(yè)管理系統(tǒng) 196
6．1．5 云環(huán)境下的作業(yè)調(diào)度 197
6．2 Hadoop的作業(yè)調(diào)度算法 200
6．2．1 Hadoop作業(yè)調(diào)度概述 200
6．2．2 批處理調(diào)度器FIFO 203
6．2．3 公平調(diào)度器 204
6．2．4 計(jì)算能力調(diào)度器 205
6．2．5 其他調(diào)度算法 207
6．3 基于伯格模型的公平調(diào)度算法 209
6．3．1 公平性概念 209
6．3．2 伯格模型概述 209
6．3．3 云計(jì)算中資源分配的伯格模型 210
6．3．4 基于伯格模型的作業(yè)調(diào)度模型 211
6．3．5 基于伯格模型的作業(yè)調(diào)度算法 217
參考文獻(xiàn) 223
第7章 MapReduce性能優(yōu)化 225
7．1 概述 225
7．1．1 MapReduce性能調(diào)優(yōu) 225
7．1．2 MapReduce的性能優(yōu)化研究 227
7．2 MapReduce性能模型 231
7．2．1 影響性能指標(biāo)的因素 231
7．2．2 基于I/O成本的性能模型 232
7．3 Crunch概述 241
7．3．1 Crunch簡(jiǎn)介 241
7．3．2 設(shè)計(jì)思路 242
7．3．3 框架結(jié)構(gòu) 245
7．3．4 工作原理 246
7．4 Crunch優(yōu)化 248
7．4．1 問(wèn)題的提出 248
7．4．2 Profiling 249
7．4．3 基于代價(jià)的劃分 252
7．4．4 Reduce優(yōu)化 253
7．4．5 數(shù)據(jù)抽樣 255
7．5 實(shí)驗(yàn)與結(jié)果分析 255
7．5．1 實(shí)驗(yàn)設(shè)置 256
7．5．2 基于MapReduce的協(xié)同過(guò)濾推薦算法 256
7．5．3 驗(yàn)證算法正確性 259
7．5．4 驗(yàn)證算法有效性 260
參考文獻(xiàn) 262
實(shí) 踐 篇
第8章 云環(huán)境下的圖算法PageRank 267
8．1 圖計(jì)算概述 267
8．2 Web挖掘 268
8．2．1 Web挖掘概述 268
8．2．2 Web圖結(jié)構(gòu)分析 270
8．3 淺析PageRank算法 274
8．3．1 PageRank算法簡(jiǎn)介 274
8．3．2 PageRank算法分析 276
8．3．3 使用MapReduce思想計(jì)算PageRank值 276
8．4 基于MapReduce的PageRank算法 278
8．4．1 PageRank算法的MapReduce實(shí)現(xiàn) 278
8．4．2 利用矩陣分塊思想的并行PageRank算法 281
8．4．3 PageRank算法實(shí)現(xiàn)的改進(jìn) 284
8．4．4 實(shí)驗(yàn)及結(jié)果分析 288
8．5 基于BSP模型的PageRank算法 291
8．5．1 BSP模型 291
8．5．2 圖計(jì)算框架Pregel 293
8．5．3 PageRank的Pregel實(shí)現(xiàn) 305
8．5．4 Pregel存在的問(wèn)題 306
參考文獻(xiàn) 306
第9章 圖計(jì)算框架Hama 309
9．1 Hama簡(jiǎn)介 309
9．2 Hama核心技術(shù) 310
9．2．1 Hama層次結(jié)構(gòu) 310
9．2．2 Hama體系結(jié)構(gòu) 311
9．2．3 Hama代碼組織 313
9．2．4 Hama常用API 315
9．2．5 基于YARN的Hama程序執(zhí)行流程 317
9．3 蒙特卡羅算法的實(shí)現(xiàn) 318
9．3．1 用蒙特卡羅算法求圓周率 318
9．3．2 基于Hadoop的蒙特卡羅算法 319
9．3．3 基于Hama的蒙特卡羅算法 321
9．4 Hadoop與Hama的性能比較 323
9．4．1 優(yōu)勢(shì)區(qū)間 323
9．4．2 可用區(qū)間 325
9．4．3 劣勢(shì)區(qū)間 326
9．4．4 綜合分析 328
參考文獻(xiàn) 328
第10章 基于MapReduce的DNA序列拼接 329
10．1 概述 329
10．1．1 生物信息學(xué)現(xiàn)狀 329
10．1．2 序列拼接研究 330
10．2 測(cè)序技術(shù) 331
10．2．1 第一代DNA測(cè)序技術(shù) 331
10．2．2 第二代DNA測(cè)序技術(shù) 332
10．2．3 第三代DNA測(cè)序技術(shù) 332
10．3 序列拼接技術(shù) 332
10．3．1 序列拼接問(wèn)題 333
10．3．2 序列拼接技術(shù) 333
10．4 repeat問(wèn)題 337
10．4．1 聚類法 337
10．4．2 ARACHNE法 338
10．4．3 路徑相容性法 338
10．5 基于MapReduce的歐拉超路并行算法 339
10．5．1 算法的選擇 340
10．5．2 歐拉超路算法拼接流程 340
10．5．3 歐拉超路算法各步驟的并行化 342
10．5．4 并行歐拉超路算法性能分析 346
參考文獻(xiàn) 350
附錄A 云計(jì)算仿真器CloudSim 353
A．1 CloudSim簡(jiǎn)介 353
A．2 CloudSim體系結(jié)構(gòu) 354
A．3 CloudSim核心類介紹 356
A．4 CloudSim開(kāi)發(fā)環(huán)境搭建 357
A．5 仿真步驟 361
A．6 樣例程序分析 363
參考文獻(xiàn) 368
附錄B Hama開(kāi)發(fā)環(huán)境的搭建 369
B．1 所需軟件 369
B．2 Hadoop和Hama的安裝 369
B．3 搭建Hama編程環(huán)境 377
附錄C 分布式Hadoop平臺(tái)搭建 379
C．1 Hadoop系統(tǒng)的安裝方式 379
C．2 硬件和軟件需求 379
C．3 搭建步驟 380
C．4 運(yùn)行示例程序 382