大數據走向云計算

目　錄
第1章　云時代　1
1．1　云計算力量　1
1．2　云計算概述　2
1．2．1　云基本特征　3
1．2．2　云計算簡史　4
1．2．3　云計算演化　5
1．2．4　云服務形式　6
1．2．5　云時代誰是主角　10
1．3　云計算的原動力　11
1．3．1　芯片與硬件技術　12
1．3．2　資源虛擬化　12
1．3．3　面向服務架構　13
1．3．4　軟件即服務　13
1．3．5　互聯網技術　14
1．3．6　Web技術　14
1．4　云研究趨勢　14
1．5　云計算技術　16
1．5．1　虛擬化技術　16
1．5．2　數據存儲技術　17
1．5．3　資源管理技術　19
1．5．4　能耗管理技術　20
1．5．5　云監(jiān)測技術　21
1．6　云優(yōu)勢分析　23
1．6．1　優(yōu)化產業(yè)布局　23
1．6．2　推進專業(yè)分工　24
1．6．3　提升資源利用率　25
1．6．4　降低運營成本　26
1．6．5　產生新創(chuàng)價值　26
1．7　云業(yè)務實施　26
1．7．1　基礎設施層　27
1．7．2　平臺層　28
1．7．3　實施應用層　30
1．8　移動云　31
1．8．1　移動云優(yōu)勢　31
1．8．2　應用案例　31
1．9　云標準　32
1．9．1　云標準定制　32
1．9．2　云標準主要內容　32
1．9．3　云計算潛在需求分析　33
1．9．4　云標準意義　34
1．9．5　云標準發(fā)展趨勢　34
1．10　云安全　35
1．10．1　云安全發(fā)展趨勢　36
1．10．2　云安全難點問題　36
1．10．3　云安全新增及增強功能　37
1．10．4　云安全存在問題　38
1．11　云計算的九大威脅　39
第2章　大數據時代　41
2．1　什么是大數據　41
2．2　大數據來源　42
2．3　大數據商業(yè)價值　43
2．4　打造高能效數據中心　44
2．5　大數據變革　45
2．5．1　變革公共衛(wèi)生　45
2．5．2　變革商業(yè)　46
2．5．3　變革思維　48
2．5．4　開啟重大的時代轉型　48
2．6　大數據的核心　51
2．7　大數據的挑戰(zhàn)　51
2．8　大數據的現狀　53
2．9　大數據推進力　55
2．10　大數據存儲　56
2．11　大數據治理　57
2．12　大數據未來五年路線　58
2．13　大數據的應用　59
第3章　大數據走向云端　63
3．1　時代雙雄　63
3．2 “大數據”走進云端　64
3．3　云計算與大數據的聯系　66
3．3．1　云與大數據的聯系　66
3．3．2　大數據和云計算的不同之處　67
3．4　數據向云計算遷移　67
3．4．1　遷移過程　67
3．4．2　數據的丟失與備份　67
3．4．3　遷移應注意問題　68
3．4．4　管理與監(jiān)控　68
3．5　云延伸　68
3．5．1　云計算的延伸　69
3．5．2　網絡管理維護優(yōu)化　69
3．5．3　用戶行為分析　69
3．5．4　個性化推薦　70
3．5．5　數據云服務(DaaS)　70
3．6　云計算與大數據挑戰(zhàn)與機遇并存　70
第4章　云下的大數據工程　72
4．1　信息所需求的新生力量　72
4．1．1　技術因素　72
4．1．2　商業(yè)模式因素　73
4．2　信息系統工程　73
4．2．1　云計算基本思想　73
4．2．2　云計算實現　74
4．3　信息系統工程架構轉變　81
4．3．1　豎井式的信息系統　81
4．3．2　逐漸完善的系統需求　83
4．3．3　全新的系統架構　86
4．3．4　新型企業(yè)信息系統模塊　87
4．4　商業(yè)變革因素　92
4．4．1　零售企業(yè)的流程再造　92
4．4．2　IT資源使用新方式　94
4．4．3　整合的新平臺　95
4．4．4　轉型新思路　96
4．4．5　創(chuàng)新的新動力　97
4．5　信息工業(yè)革命　97
4．5．1　解放生產力　97
4．5．2　云計算改變信息生活　98
4．5．3　推動社會變革　100
4．6　云計算機遇　102
4．6．1　私有云發(fā)展更快　103
4．6．2　數據集中　105
4．6．3　企業(yè)的“云”機遇　106
4．6．4　中國“云”企業(yè)的機遇挑戰(zhàn)　107
第5章　搭建云計算開發(fā)環(huán)境　109
5．1　Hadoop環(huán)境搭建　109
5．1．1　在Linux下安裝Hadoop　109
5．1．2　Hadoop安裝步驟　110
5．1．3　在Windows下安裝Hadoop　115
5．2　Hadoop的優(yōu)點　120
5．3　HBase環(huán)境搭建　121
5．3．1　HBase的系統框架　121
5．3．2　HBase的模型　123
5．3．3　HBase的安裝配置　126
5．4　ZooKeeper環(huán)境搭建　128
5．4．1　ZooKeeper的原理　128
5．4．2　Zookeeper的特點　128
5．4．3　Zookeeper的安裝　129
5．5　MapReduce概述　131
5．5．1　MapReduce實現機制　131
5．5．2　MapReduce執(zhí)行流程　132
5．5．3　MapReduce映射和化簡　133
5．6　Pig環(huán)境搭建　133
5．6．1　Pig概述　133
5．6．2　Pig安裝　134
第6章　分布式文件系統　135
6．1　分布式文件系統概述　135
6．1．1　發(fā)展史　135
6．1．2　實現方法　136
6．1．3　研究狀況　136
6．2　分布式文件系統類型　137
6．2．1　網絡文件系統　137
6．2．2　Andrew文件系統　142
6．2．3　分布式文件系統　143
6．3　xFS概述　144
6．3．1　xFS體系結構　144
6．3．2　xFS通信　145
6．3．3　xFS進程　145
6．3．4　xFS緩存　147
6．3．5　xFS容錯性　147
6．3．6　xFS安全性　148
6．3．7　xFS特性　148
6．3．8　xFS性能考慮　149
6．4　DAFS概述　149
6．4．1　DAFS基本原理　150
6．4．2　DAFS設計目的　150
6．4．3　文件訪問方式　151
6．4．4　實現客戶端　151
6．5　GFS概述　152
6．5．1　文件系統架構　153
6．5．2　GFS的特點　154
6．5．3　文件系統的容錯性　155
6．5．4　系統管理技術　155
6．6　GPFS共享文件　156
6．6．1　GPFS概述　156
6．6．2　GPFS特性　158
6．6．3　GPFS的高性能和可擴展性　159
6．7　Lustre并行文件系統　159
6．7．1　Lustre概述　159
6．7．2　Lustre組成部分　161
6．8　分布式鎖服務Chubby　162
6．8．1　Paxos算法　163
6．8．2　Chubby目標設計　164
6．8．3　Chubby中的Paxos　165
6．8．4　Chubby文件系統　167
6．8．5　Chubby通信協議　168
6．8．6　正確性和性能　170
6．9　分布式結構數據表　171
6．9．1　Bigtable設計目標　171
6．9．2　Bigtable數據模型　172
6．9．3　Bigtable系統架構　173
6．9．4　Bigtable功能　174
6．9．5　Bigtable主服務器　174
6．9．6　Bigtable組件　175
6．9．7　性能優(yōu)化　179
第7章　并行計算　181
7．1　并行計算概述　181
7．2　MapReduce基礎　183
7．2．1　編程模型　183
7．2．2　執(zhí)行過程　184
7．2．3　映射和化簡　185
7．2．4　數據類型　185
7．2．5　Map類和Reduce類　186
7．2．6　Job對象配置　187
7．3　MapReduce模板　188
7．4　MapReduce計算流程　191
7．4．1　作業(yè)的提交　191
7．4．2　Map任務的分配　192
7．4．3　Map任務的執(zhí)行　193
7．4．4　Reduce任務的分配與執(zhí)行　194
7．5　MapReduce數據流優(yōu)化　194
7．5．1　MapReduce輸入與輸出　194
7．5．2　流機制　195
7．5．3　管道機制　196
7．5．4　數據流優(yōu)化　197
7．6　MapReduce數據類型　198
7．6．1　數據內置輸入格式　198
7．6．2　數據定制輸入格式　199
7．6．3　數據定制輸出格式　201
7．7　MapReduce使用算法　203
7．7．1　向量乘法實現　203
7．7．2　內存處理　203
7．7．3　關系運算　204
7．8　參數/數據文件的傳遞與使用　208
7．8．1　傳遞全局作業(yè)參數　208
7．8．2　查詢全局MapReduce作業(yè)屬性　209
7．8．3　全局數據文件的傳遞　210
第8章　大數據存儲倉庫　212
8．1　數據倉庫　212
8．1．1　RDBMS擴展到HBase　212
8．1．2　列數據庫　213
8．1．3　HBase的特點　215
8．2　HBase數據庫　216
8．2．1　HBase集群架構　216
8．2．2　HBase系統架構　219
8．3　HBase模型　219
8．3．1　邏輯模型　219
8．3．2　物理模型　220
8．4　HBase接口　221
8．4．1　HBase訪問接口　221
8．4．2　shell命令接口　221
8．4．3　HBase Java接口　222
8．5　HBase基本操作　224
8．5．1　HBase存儲格式　225
8．5．2　HBase讀寫流程　225
8．5．3　HBase表操作　226
第9章　分布式鎖　231
9．1　ZooKeeper基本概述　231
9．1．1　ZooKeeper基本原理　231
9．1．2　統一命名服務　235
9．1．3　配置管理　235
9．1．4　集群管理　236
9．1．5　分布式鎖　237
9．1．6　共享鎖(Locks)　238
9．1．7　隊列　238
9．2　ZooKeeper角色　239
9．2．1　系統模型　239
9．2．2　數據模型　240
9．2．3　ZooKeeper的特性　241
9．2．4　ZooKeeper的一致性　242
9．3　ZooKeeper接口與編程　242
9．3．1　ZooKeeper接口　243
9．3．2　ZooKeeper編程實現　244
9．4　性能　246
9．4．1　讀/寫性能測試　246
9．4．2　可靠性測試　246
9．5　ZooKeeper的典型應用　247
9．5．1　數據發(fā)布與訂閱應用　248
9．5．2　負載均衡應用　248
9．5．3　分布式通知　249
第10章　數據挖掘　250
10．1　數據挖掘概述　250
10．1．1　數據挖掘起源　251
10．1．2　數據挖掘作用　252
10．1．3　定義數據挖掘　254
10．1．4　哈希函數　255
10．1．5　索引　257
10．1．6　實現數據挖掘步驟　257
10．2　PageRank工具　258
10．2．1　PageRank概述　258
10．2．2　PageRank定義　259
10．2．3　PageRank相關算法　262
10．2．4　影響PageRank的因素　263
10．3　關聯分析　263
10．3．1　關聯分析原理及算法　264
10．3．2　數據關聯推測功能　264
10．3．3　基于用戶行為分析的關聯推薦　264
10．3．4　數據關聯注意問題　266
10．4　聚類分析　266
10．4．1　聚類分析作用　266
10．4．2　聚類的典型要求　267
10．4．3　聚類分析算法　268
10．4．4　在數據挖掘中的應用　269
10．5　分類分析　281
10．5．1　決策樹法　281
10．5．2　神經網絡　283
10．6　異常挖掘　284
10．6．1　異常挖掘概述　284
10．6．2　異常挖掘的方法　285
10．7　特異群組分析　288
10．7．1　特性群級挖掘根源　288
10．7．2　何為特異群組挖掘　289
10．7．3　與聚類、異常挖掘的差異　289
10．8　矩估計　293
10．8．1　二階矩估計的AMS算法　293
10．8．2　高階矩估計　294
10．8．3　無限流的處理　294
10．9　衰減窗口　295
10．9．1　定義衰減窗口　296
10．9．2　網絡流頻繁項集　296
10．10　頻繁項集　297
10．10．1　項集概述　297
10．10．2　A-Priori算法　298
10．10．3　A-Priori算法改進　299
10．10．4　更大數據集處理　300
10．11　數據降維處理　303
10．11．1　相關定義　304
10．11．2　降維算法　305
10．11．3　降維方法　306
第11章　社會中的大數據　314
11．1　普適計算　314
11．1．1　普適計算定義　315
11．1．2　普適計算核心思想　315
11．1．3　普適計算目的　315
11．1．4　普適計算特點　315
11．1．5　普適計算面臨挑戰(zhàn)　315
11．1．6　普適計算應用　316
11．2　數據應用于治國上　318
11．2．1　循“數”管理　318
11．2．2　數據驗證民權　319
11．2．3　數據“打”假　320
11．3　商務智能　321
11．3．1　數據到知識的跨越　322
11．3．2　數據倉庫　323
11．3．3　聯機分析　324
11．3．4　數據挖掘智能產生　326
11．3．5　數據可視化　327
11．4　數據質量法與隱私　328
11．4．1　數據質量法　328
11．4．2　數據隱私　329
11．5　數據運動　331
11．5．1　數據開放　331
11．5．2　數據之爭　333
11．6　數據大趨勢　334
11．6．1　數據權　334
11．6．2　數據大合流　335
11．6．3　互聯網再造　336
11．7　數據大挑戰(zhàn)　338
11．7．1　數據競爭　338
11．7．2　從大數據到社會　340
第12章　云下的大數據應用　342
12．1　云計算如何實現價值　342
12．2　云與大數據　342
12．2．1　大的數據優(yōu)先級　343
12．2．2　云與大數據　343
12．3　云計算與大數據的強強聯合　343
12．3．1　大數據的企業(yè)與技術　344
12．3．2　大數據的經濟意義　344
12．4　大數據時代下的云計算應用部署　345
12．5　云計算在快速消費品行業(yè)的應用　345
12．5．1　改變傳統交通管理的路徑　346
12．5．2　在智能交通應用上的優(yōu)勢　347
12．6　大數據在視頻監(jiān)控中的應用　348
12．6．1　解決實時視點監(jiān)控需求　349
12．6．2　大數據處理解決方案　349
12．6．3　實時高效的分布式視頻監(jiān)控　350
12．7　區(qū)域醫(yī)療大數據應用案例　350
12．7．1　挑戰(zhàn)　351
12．7．2　海量數據的處理和分析　351
12．7．3　結論　352
12．7．4　價值　352