云計(jì)算（典藏版）

第1章 大數(shù)據(jù)與云計(jì)算 1
1.1 大數(shù)據(jù)時(shí)代 1
1.2 云計(jì)算概述 3
1.3 云計(jì)算發(fā)展現(xiàn)狀 5
1.4 云計(jì)算實(shí)現(xiàn)機(jī)制 7
1.5 云計(jì)算壓倒性的成本優(yōu)勢(shì) 8
習(xí)題 12
第2章 Google云計(jì)算原理與應(yīng)用 13
2.1 Google文件系統(tǒng) 13
2.1.1 系統(tǒng)架構(gòu) 14
2.1.2 容錯(cuò)機(jī)制 16
2.1.3 系統(tǒng)管理技術(shù) 17
2.2 分布式計(jì)算編程模型MapReduce 17
2.2.1 產(chǎn)生背景 17
2.2.2 編程模型 18
2.2.3 實(shí)現(xiàn)機(jī)制 19
2.2.4 案例分析 20
2.3 分布式鎖服務(wù)Chubby 22
2.3.1 Paxos算法 22
2.3.2 Chubby系統(tǒng)設(shè)計(jì) 23
2.3.3 Chubby中的Paxos算法 24
2.3.4 Chubby文件系統(tǒng) 26
2.3.5 通信協(xié)議 27
2.3.6 正確性與性能 29
2.4 分布式結(jié)構(gòu)化數(shù)據(jù)表BigTable 30
2.4.1 設(shè)計(jì)動(dòng)機(jī)與目標(biāo) 31
2.4.2 數(shù)據(jù)模型 31
2.4.3 系統(tǒng)架構(gòu) 32
2.4.4 主服務(wù)器 33
2.4.5 子表服務(wù)器 34
2.4.6 性能優(yōu)化 37
2.5 分布式存儲(chǔ)系統(tǒng)Megastore 39
2.5.1 設(shè)計(jì)目標(biāo)及方案選擇 39
2.5.2 Megastore數(shù)據(jù)模型 40
2.5.3 Megastore中的事務(wù)及并發(fā)控制 42
2.5.4 Megastore基本架構(gòu) 43
2.5.5 核心技術(shù)――復(fù)制 45
2.5.6 產(chǎn)品性能及控制措施 48
2.6 分布式監(jiān)控系統(tǒng)Dapper 50
2.6.1 基本設(shè)計(jì)目標(biāo) 50
2.6.2 Dapper監(jiān)控系統(tǒng)簡(jiǎn)介 50
2.6.3 關(guān)鍵性技術(shù) 53
2.6.4 常用Dapper工具 54
2.6.5 Dapper使用經(jīng)驗(yàn) 56
2.7 海量數(shù)據(jù)的交互式分析工具Dremel 58
2.7.1 產(chǎn)生背景 58
2.7.2 數(shù)據(jù)模型 59
2.7.3 嵌套式的列存儲(chǔ) 60
2.7.4 查詢語(yǔ)言與執(zhí)行 64
2.7.5 性能分析 66
2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill 67
2.8.1 產(chǎn)生背景與設(shè)計(jì)目標(biāo) 67
2.8.2 基本數(shù)據(jù)結(jié)構(gòu) 68
2.8.3 性能優(yōu)化 69
2.8.4 性能分析與對(duì)比 71
2.9 Google應(yīng)用程序引擎 72
2.9.1 Google App Engine簡(jiǎn)介 72
2.9.2 應(yīng)用程序環(huán)境 74
2.9.3 Google App Engine服務(wù) 77
習(xí)題 87
第3章 云計(jì)算AWS 88
3.1 基礎(chǔ)存儲(chǔ)架構(gòu)Dynamo 88
3.1.1 Dynamo概況 88
3.1.2 Dynamo架構(gòu)的主要技術(shù) 90
3.2 彈性計(jì)算云 97
3.2.1 EC2的基本架構(gòu) 97
3.2.2 EC2的關(guān)鍵技術(shù) 99
3.2.3 EC2的安全及容錯(cuò)機(jī)制 101
3.3 簡(jiǎn)單存儲(chǔ)服務(wù) 102
3.3.1 S3的基本概念和操作 102
3.3.2 S3的數(shù)據(jù)一致性模型 103
3.3.3 S3的安全措施 104
3.4 非關(guān)系型數(shù)據(jù)庫(kù)服務(wù) 106
3.4.1 非關(guān)系型數(shù)據(jù)庫(kù)與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的比較 106
3.4.2 SimpleDB 107
3.4.3 DynamoDB 109
3.4.4 SimpleDB和DynamoDB的比較 109
3.5 關(guān)系型數(shù)據(jù)庫(kù)服務(wù) 110
3.5.1 RDS的基本原理 110
3.5.2 RDS的使用 111
3.6 簡(jiǎn)單隊(duì)列服務(wù) 111
3.6.1 SQS的基本模型 111
3.6.2 SQS的消息 112
3.7 內(nèi)容推送服務(wù) 114
3.7.1 CDN 114
3.7.2 CloudFront 116
3.8 其他 云計(jì)算服務(wù) 117
3.8.1 快速應(yīng)用部署Elastic Beanstalk和服務(wù)模板CloudFormation 117
3.8.2 DNS服務(wù)Route53 118
3.8.3 虛擬私有云VPC 118
3.8.4 簡(jiǎn)單通知服務(wù)和簡(jiǎn)單郵件服務(wù) 119
3.8.5 彈性MapReduce服務(wù) 119
3.8.6 電子商務(wù)服務(wù)DevPay、FPS和簡(jiǎn)單支付服務(wù) 121
3.8.7 執(zhí)行網(wǎng)絡(luò)服務(wù) 125
3.8.8 土耳其機(jī)器人 125
3.8.9 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)Redshift 126
3.8.10 應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流服務(wù)Kinesis 127
3.8.11 增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）應(yīng)用Sumerian 128
3.8.12 區(qū)塊鏈應(yīng)用Managed Blockchain 128
3.9 AWS應(yīng)用實(shí)例 129
3.9.1 照片和視頻共享網(wǎng)站SmugMug 129
3.9.2 視頻制作網(wǎng)站Animoto 129
3.9.3 網(wǎng)站排名公司Alexa 130
3.10 小結(jié) 130
習(xí)題 131
第4章 微軟云計(jì)算Microsoft Azure 132
4.1 微軟云計(jì)算平臺(tái) 132
4.2 微軟云操作系統(tǒng)Microsoft Azure 134
4.2.1 Microsoft Azure概述 134
4.2.2 Microsoft Azure計(jì)算服務(wù) 135
4.2.3 Microsoft Azure存儲(chǔ)服務(wù) 139
4.2.4 Microsoft Azure Connect 147
4.2.5 Microsoft Azure CDN 148
4.2.6 Fabric控制器 149
4.3 微軟云關(guān)系數(shù)據(jù)庫(kù)SQL Azure 150
4.3.1 SQL Azure概述 150
4.3.2 SQL Azure關(guān)鍵技術(shù) 151
4.3.3 SQL Azure和SQL Server對(duì)比 153
4.4 Microsoft Azure Service Fabric 154
4.4.1 Service Fabric 概述 154
4.4.2 Service Fabric體系結(jié)構(gòu) 155
4.4.3 Service Fabric群集 157
4.5 Microsoft Azure Marketplace 163
4.6 Microsoft Azure服務(wù)平臺(tái) 164
4.6.1 網(wǎng)站 164
4.6.2 虛擬機(jī) 165
4.6.3 云服務(wù) 166
4.6.4 移動(dòng)服務(wù) 167
4.6.5 大數(shù)據(jù)處理 168
4.6.6 媒體服務(wù) 169
4.6.7 物聯(lián)網(wǎng)平臺(tái) 170
4.6.8 人工智能服務(wù) 171
習(xí)題 172
第5章 Hadoop 3.0：主流開源云架構(gòu) 173
5.1 挑戰(zhàn)與對(duì)策 173
5.1.1 問題概述 173
5.1.2 常規(guī)解決方案 173
5.1.3 分布式下的解決方案 174
5.1.4 小結(jié) 178
5.2 Hadoop 3.0簡(jiǎn)述 178
5.2.1 Hadoop發(fā)展 178
5.2.2 Hadoop 3.0生態(tài)圈項(xiàng)目 179
5.2.3 Hadoop應(yīng)用 181
5.3 Hadoop 3.0部署 181
5.3.1 部署綜述 182
5.3.2 傳統(tǒng)解壓包方式部署 186
5.4 Hadoop 3.0體系架構(gòu) 192
5.4.1 公共組件Common 192
5.4.2 分布式文件系統(tǒng)HDFS 194
5.4.3 分布式操作系統(tǒng)YARN 199
5.5 Hadoop 3.0訪問接口 206
5.5.1 配置項(xiàng)接口 206
5.5.2 瀏覽器接口 207
5.5.3 命令行接口 207
5.5.4 HDFS編程 209
5.5.5 YARN編程 212
5.6 Hadoop 3.0生態(tài)組件 220
5.6.1 組件簡(jiǎn)介 220
5.6.2 Hive 224
5.6.3 Spark 228
5.6.4 ZooKeeper 239
5.6.5 HBase 243
5.6.6 Mahout 250
5.6.7 Redis 253
5.6.8 Kafka 258
5.6.9 Flink 263
5.6.10 Flume 266
5.6.11 Pig 271
習(xí)題 275
第6章 虛擬化技術(shù) 276
6.1 虛擬化技術(shù)簡(jiǎn)介 276
6.2 服務(wù)器虛擬化 277
6.2.1 服務(wù)器虛擬化的層次 277
6.2.2 服務(wù)器虛擬化的底層實(shí)現(xiàn) 278
6.2.3 虛擬機(jī)遷移 279
6.2.4 隔離技術(shù) 281
6.2.5 案例分析 283
6.3 存儲(chǔ)虛擬化 284
6.3.1 存儲(chǔ)虛擬化的一般模型 284
6.3.2 存儲(chǔ)虛擬化的實(shí)現(xiàn)方式 284
6.3.3 案例分析 285
6.4 網(wǎng)絡(luò)虛擬化 287
6.4.1 網(wǎng)絡(luò)虛擬化簡(jiǎn)介 287
6.4.2 案例分析：VMware的網(wǎng)絡(luò)虛擬化技術(shù) 288
6.5 桌面虛擬化 290
6.5.1 桌面虛擬化簡(jiǎn)介 290
6.5.2 技術(shù)現(xiàn)狀 291
6.5.3 案例分析 292
6.6 OpenStack開源虛擬化平臺(tái) 292
6.6.1 OpenStack背景介紹 293
6.6.2 Nova 294
6.6.3 Swift 299
6.6.4 Glance 305
6.7 超融合技術(shù) 306
6.7.1 概念 306
6.7.2 產(chǎn)生背景 306
6.7.3 超融合技術(shù)簡(jiǎn)介 308
習(xí)題 310
第7章 容器技術(shù) 311
7.1 容器技術(shù)簡(jiǎn)介 311
7.1.1 容器技術(shù)的發(fā)展歷程 311
7.1.2 容器技術(shù)的架構(gòu) 313
7.1.3 容器的底層技術(shù) 314
7.1.4 容器的關(guān)鍵技術(shù) 315
7.1.5 容器技術(shù)的優(yōu)勢(shì)和局限性 316
7.1.6 容器技術(shù)的典型應(yīng)用 317
7.1.7 容器和虛擬機(jī)對(duì)比 318
7.2 Docker技術(shù) 320
7.2.1 Docker是什么 320
7.2.2 Docker的架構(gòu)和流程 322
7.2.3 Docker的優(yōu)勢(shì)和局限性 323
7.2.4 分布式Docker網(wǎng)絡(luò)環(huán)境搭建 327
7.3 Rocket（Rkt）技術(shù)簡(jiǎn)介 328
7.3.1 Rkt的標(biāo)準(zhǔn)化嘗試 329
7.3.2 Rkt是什么 331
7.3.3 Rkt的基本使用方法 333
7.4 其他容器技術(shù) 335
7.4.1 Garden容器技術(shù) 335
7.4.2 Kata容器技術(shù) 337
7.5 容器編排系統(tǒng) 338
7.5.1 Google Kubernetes 339
7.5.2 Docker Swarm 346
7.5.3 Apache Mesos 350
7.5.4 CoreOS Fleet 356
習(xí)題 357
第8章 云原生技術(shù) 359
8.1 云原生簡(jiǎn)介 359
8.2 微服務(wù) 361
8.2.1 Spring Cloud架構(gòu) 361
8.2.2 服務(wù)網(wǎng)格架構(gòu) 370
8.3 敏捷基礎(chǔ)設(shè)施 374
8.3.1 分布式消息中間件服務(wù) 375
8.3.2 分布式緩存服務(wù) 383
8.3.3 分布式任務(wù)調(diào)度服務(wù) 386
8.3.4 監(jiān)控告 務(wù) 390
8.4 DevOps 392
8.4.1 概念 393
8.4.2 Ansible 394
8.4.3 SaltStack 395
8.4.4 Jenkins 397
8.5 持續(xù)交付 399
8.5.1 持續(xù)交付與持續(xù)集成、持續(xù)部署 400
8.5.2 持續(xù)交付vs. DevOps 401
8.6 云原生應(yīng)用場(chǎng)景 401
8.6.1 深度學(xué)習(xí)應(yīng)用場(chǎng)景 402
8.6.2 區(qū)塊鏈應(yīng)用場(chǎng)景 403
8.6.3 邊緣計(jì)算應(yīng)用場(chǎng)景 404
8.6.4 傳統(tǒng)行業(yè)互聯(lián)網(wǎng)化應(yīng)用場(chǎng)景 404
習(xí)題 405
第9章 云計(jì)算數(shù)據(jù)中心 406
9.1 云計(jì)算數(shù)據(jù)中心的特征 406
9.2 云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)部署 407
9.2.1 改進(jìn)型樹形結(jié)構(gòu) 407
9.2.2 遞歸層次結(jié)構(gòu) 409
9.2.3 光交換網(wǎng)絡(luò) 412
9.2.4 無(wú)線數(shù)據(jù)中心網(wǎng)絡(luò) 414
9.2.5 軟件定義網(wǎng)絡(luò) 414
9.3 綠色節(jié)能技術(shù) 418
9.3.1 配電系統(tǒng)節(jié)能技術(shù) 418
9.3.2 空調(diào)系統(tǒng)節(jié)能技術(shù) 420
9.3.3 集裝箱數(shù)據(jù)中心節(jié)能技術(shù) 423
9.3.4 海底數(shù)據(jù)中心 424
9.3.5 數(shù)據(jù)中心節(jié)能策略和算法研究 427
9.3.6 新能源的應(yīng)用 429
9.3.7 典型的綠色節(jié)能數(shù)據(jù)中心 432
9.4 自動(dòng)化管理 434
9.4.1 自動(dòng)化管理的特征 434
9.4.2 自動(dòng)化管理實(shí)現(xiàn)階段 435
9.4.3 Facebook自動(dòng)化管理 436
9.5 容災(zāi)備份 438
9.5.1 容災(zāi)系統(tǒng)的等級(jí)標(biāo)準(zhǔn) 438
9.5.2 容災(zāi)備份的關(guān)鍵技術(shù) 439
9.5.3 云存儲(chǔ)在容災(zāi)備份中的應(yīng)用 441
習(xí)題 442
0章 云計(jì)算核心算法 443
10.1 Paxos算法 443
10.1.1 Paxos算法背景知識(shí) 443
10.1.2 Paxos算法詳解 444
10.1.3 Paxos算法舉例 447
10.1.4 Chubby中Paxos算法的具體實(shí)現(xiàn) 448
10.2 DHT算法 449
10.2.1 DHT原理介紹 450
10.2.2 Chord中DHT的具體實(shí)現(xiàn) 452
10.2.3 Pastry中DHT的具體實(shí)現(xiàn) 454
10.2.4 CAN中DHT的具體實(shí)現(xiàn) 455
10.2.5 Tapestry中DHT的具體實(shí)現(xiàn) 456
10.3 Gossip協(xié)議 457
10.3.1 Gossip協(xié)議的特點(diǎn) 457
10.3.2 Gossip協(xié)議的通信方式及收斂性 458
10.3.3 Gossip節(jié)點(diǎn)管理算法 459
10.3.4 Cassandra中Gossip協(xié)議的具體實(shí)現(xiàn)方式 460
10.3.5 CoolStreaming中Gossip協(xié)議的具體實(shí)現(xiàn)方式 463
10.3.6 Hyperledger Fabric中Gossip協(xié)議的具體實(shí)現(xiàn)方式 465
10.3.7 Chord網(wǎng)絡(luò)中Gossip協(xié)議的具體實(shí)現(xiàn)方式 467
習(xí)題 468
1章 云際計(jì)算技術(shù) 469
11.1 傳統(tǒng)云計(jì)算面臨的挑戰(zhàn) 469
11.2 云際計(jì)算誕生 470
11.2.1 云際計(jì)算概念 470
11.2.2 技術(shù)優(yōu)勢(shì) 470
11.3 云際計(jì)算架構(gòu) 471
11.3.1 集中式代理架構(gòu) 472
11.3.2 地理分布式代理架構(gòu) 472
11.4 云際計(jì)算關(guān)鍵技術(shù) 473
11.4.1 云際協(xié)作環(huán)境 474
11.4.2 對(duì)等協(xié)作機(jī)制 477
11.5 云際存儲(chǔ)關(guān)鍵技術(shù) 478
11.5.1 糾刪碼容錯(cuò)技術(shù) 479
11.5.2 數(shù)據(jù)完整性證明機(jī)制 481
11.5.3 并發(fā)控制方法 483
11.5.4 安全重刪技術(shù) 485
11.6 云際計(jì)算研究進(jìn)展 487
11.6.1 Inter-Cloud 488
11.6.2 SuperCloud 489
11.6.3 Multi-Cloud 490
11.6.4 Federated Cloud 491
11.6.5 Cloud Service Broker 493
11.6.6 Internetware 494
11.6.7 iVCE 496
11.7 云際計(jì)算應(yīng)用場(chǎng)景 497
習(xí)題 498
2章 中國(guó)云計(jì)算技術(shù) 499
12.1 云計(jì)算發(fā)展概況 499
12.2 云存儲(chǔ)技術(shù) 500
12.2.1 淘寶文件系統(tǒng) 501
12.2.2 云創(chuàng)大數(shù)據(jù)cStor超融合云存儲(chǔ)系統(tǒng) 503
12.2.3 A8000超低功耗云存儲(chǔ)一體機(jī) 507
12.3 大數(shù)據(jù)庫(kù)技術(shù) 510
12.3.1 阿里巴巴OceanBase 510
12.3.2 云創(chuàng)大數(shù)據(jù)數(shù)據(jù)立方 514
12.4 云視頻監(jiān)控技術(shù) 519
12.4.1 cVideo云視頻監(jiān)控系統(tǒng) 519
12.4.2 cVideo智能分析系統(tǒng) 521
12.4.3 cVideo云轉(zhuǎn)碼系統(tǒng) 523
12.5 阿里巴巴阿里云服務(wù) 525
12.5.1 阿里云計(jì)算體系架構(gòu) 526
12.5.2 彈性計(jì)算服務(wù) 526
12.5.3 對(duì)象存儲(chǔ)服務(wù) 527
12.5.4 表格存儲(chǔ)服務(wù) 527
12.5.5 開放數(shù)據(jù)處理服務(wù) 528
12.5.6 關(guān)系型數(shù)據(jù)庫(kù)服務(wù) 528
12.6 云創(chuàng)大數(shù)據(jù)萬(wàn)物云服務(wù) 529
12.6.1 平臺(tái)簡(jiǎn)介 529
12.6.2 系統(tǒng)架構(gòu) 530
12.6.3 功能服務(wù) 531
12.6.4 應(yīng)用舉例 533
12.7 云創(chuàng)大數(shù)據(jù)人工智能云平臺(tái) 534
12.7.1 訓(xùn)練平臺(tái) 534
12.7.2 推理平臺(tái) 536
12.7.3 開放平臺(tái) 540
習(xí)題 542
3章 總結(jié)與展望 543
13.1 主流商業(yè)云計(jì)算解決方案比較 543
13.1.1 應(yīng)用場(chǎng)景 543
13.1.2 使用流程 545
13.1.3 體系結(jié)構(gòu) 546
13.1.4 實(shí)現(xiàn)技術(shù) 546
13.1.5 核心業(yè)務(wù) 547
13.2 主流開源云計(jì)算系統(tǒng)比較 549
13.2.1 開發(fā)目的 549
13.2.2 體系結(jié)構(gòu) 551
13.2.3 實(shí)現(xiàn)技術(shù) 552
13.2.4 核心服務(wù) 552
13.3 云計(jì)算發(fā)展趨勢(shì) 553
13.3.1 標(biāo)準(zhǔn)化 553
13.3.2 混合云模式 558
13.3.3 多云部署 559
13.3.4 云計(jì)算與人工智能相融合 560
習(xí)題 561