Spark大數(shù)據(jù)處理：技術(shù)、應(yīng)用與性能優(yōu)化

定　價：￥59.00

作　者：	高彥杰著
出版社：	機械工業(yè)出版社
叢編項：	大數(shù)據(jù)技術(shù)叢書
標(biāo)　簽：	計算機/網(wǎng)絡(luò) 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)庫

購買這本書可以去

ISBN：	9787111483861	出版時間：	2014-11-01	包裝：	平裝
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　作為一個基于內(nèi)存計算的大數(shù)據(jù)并行計算框架，Spark不僅很好地解決了數(shù)據(jù)的實時處理問題，而且保證了高容錯性和高可伸縮性。具體來講，它有如下優(yōu)勢：打造全棧多計算范式的高效數(shù)據(jù)流水線輕量級快速處理易于使用，支持多語言與HDFS等存儲層兼容社區(qū)活躍度高……Spark已經(jīng)在全球范圍內(nèi)廣泛使用，無論是Intel、Yahoo！、Twitter、阿里巴巴、百度、騰訊等國際互聯(lián)網(wǎng)巨頭，還是一些尚處于成長期的小公司，都在使用Spark。本書作者結(jié)合自己在微軟和IBM實踐Spark的經(jīng)歷和經(jīng)驗，編寫了這本書。站著初學(xué)者的角度，不僅系統(tǒng)、全面地講解了Spark的各項功能及其使用方法，而且較深入地探討了Spark的工作機制、運行原理以及BDAS生態(tài)系統(tǒng)中的其他技術(shù)，同時還有一些可供操作的案例，能讓沒有經(jīng)驗的讀者迅速掌握Spark。更為重要的是，本書還對Spark的性能優(yōu)化進(jìn)行了探討。

作者簡介

　　高彥杰，畢業(yè)于中國人民大學(xué)，就職于IBM，精通Hadoop相關(guān)技術(shù)，較早接觸并使用Spark，對Spark應(yīng)用開發(fā)、Spark系統(tǒng)的運維和測試比較熟悉，深度閱讀了Spark的源代碼，了解Spark的運行機制，擅長Spark的查詢優(yōu)化。

圖書目錄

前　言
第1章　Spark簡介 1
1.1　Spark是什么 1
1.2　Spark生態(tài)系統(tǒng)BDAS 4
1.3　Spark架構(gòu) 6
1.4　Spark分布式架構(gòu)與單機多核
架構(gòu)的異同 9
1.5　Spark的企業(yè)級應(yīng)用 10
1.5.1　Spark在Amazon中的應(yīng)用 11
1.5.2　Spark在Yahoo!的應(yīng)用 15
1.5.3　Spark在西班牙電信的應(yīng)用 17
1.5.4　Spark在淘寶的應(yīng)用 18
1.6　本章小結(jié) 20
第2章　Spark集群的安裝與部署 21
2.1　Spark的安裝與部署 21
2.1.1　在Linux集群上安裝與配置Spark 21
2.1.2　在Windows上安裝與配置Spark 30
2.2　Spark集群初試 33
2.3　本章小結(jié) 35
第3章　Spark計算模型 36
3.1　Spark程序模型 36
3.2　彈性分布式數(shù)據(jù)集 37
3.2.1　RDD簡介 38
3.2.2　RDD與分布式共享內(nèi)存的異同 38
3.2.3　Spark的數(shù)據(jù)存儲 39
3.3　Spark算子分類及功能 41
3.3.1　Value型Transformation算子 42
3.3.2　Key-Value型Transformation算子 49
3.3.3　Actions算子 53
3.4　本章小結(jié) 59
第4章　Spark工作機制詳解 60
4.1　Spark應(yīng)用執(zhí)行機制 60
4.1.1　Spark執(zhí)行機制總覽 60
4.1.2　Spark應(yīng)用的概念 62
4.1.3　應(yīng)用提交與執(zhí)行方式 63
4.2　Spark調(diào)度與任務(wù)分配模塊 65
4.2.1　Spark應(yīng)用程序之間的調(diào)度 66
4.2.2　Spark應(yīng)用程序內(nèi)Job的調(diào)度 67
4.2.3　Stage和TaskSetManager調(diào)度方式 72
4.2.4　Task調(diào)度 74
4.3　Spark I/O機制 77
4.3.1　序列化 77
4.3.2　壓縮 78
4.3.3　Spark塊管理 80
4.4　Spark通信模塊 93
4.4.1　通信框架AKKA 94
4.4.2　Client、Master和Worker間的通信 95
4.5　容錯機制 104
4.5.1　Lineage機制 104
4.5.2　Checkpoint機制 108
4.6　Shuffle機制 110
4.7　本章小結(jié) 119
第5章　Spark開發(fā)環(huán)境配置及流程 120
5.1　Spark應(yīng)用開發(fā)環(huán)境配置 120
5.1.1　使用Intellij開發(fā)Spark程序 120
5.1.2　使用Eclipse開發(fā)Spark程序 125
5.1.3　使用SBT構(gòu)建Spark程序 129
5.1.4　使用Spark Shell開發(fā)運行Spark程序 130
5.2　遠(yuǎn)程調(diào)試Spark程序 130
5.3　Spark編譯 132
5.4　配置Spark源碼閱讀環(huán)境 135
5.5　本章小結(jié) 135
第6章　Spark編程實戰(zhàn) 136
6.1　WordCount 136
6.2　Top K 138
6.3　中位數(shù) 140
6.4　倒排索引 141
6.5　CountOnce 143
6.6　傾斜連接 144
6.7　股票趨勢預(yù)測 146
6.8　本章小結(jié) 153
第7章　Benchmark使用詳解 154
7.1　Benchmark簡介 154
7.1.1　Intel Hibench與Berkeley BigDataBench 155
7.1.2　Hadoop GridMix 157
7.1.3　Bigbench、BigDataBenchmark與TPC-DS 158
7.1.4　其他Benchmark 161
7.2　Benchmark的組成 162
7.2.1　數(shù)據(jù)集 162
7.2.2　工作負(fù)載 163
7.2.3　度量指標(biāo) 167
7.3　Benchmark的使用 168
7.3.1　使用Hibench 168
7.3.2　使用TPC-DS 170
7.3.3　使用BigDataBench 172
7.4　本章小結(jié) 176
第8章　BDAS簡介 177
8.1　SQL on Spark 177
8.1.1　使用Spark SQL的原因 178
8.1.2　Spark SQL架構(gòu)分析 179
8.1.3　Shark簡介 182
8.1.4　Hive on Spark 184
8.1.5　未來展望 185
8.2　Spark Streaming 185
8.2.1　Spark Streaming簡介 186
8.2.2　Spark Streaming架構(gòu) 188
8.2.3　Spark Streaming原理剖析 189
8.2.4　Spark Streaming調(diào)優(yōu) 198
8.2.5　Spark Streaming 實例 198
8.3　GraphX 205
8.3.1　GraphX簡介 205
8.3.2　GraphX的使用 206
8.3.3　GraphX架構(gòu) 209
8.3.4　運行實例 211
8.4　MLlib 215
8.4.1　MLlib簡介 217
8.4.2　MLlib的數(shù)據(jù)存儲 219
8.4.3　數(shù)據(jù)轉(zhuǎn)換為向量（向量空間模型VSM） 222
8.4.4　MLlib中的聚類和分類 223
8.4.5　算法應(yīng)用實例 228
8.4.6　利用MLlib進(jìn)行電影推薦 230
8.5　本章小結(jié) 237
第9章　Spark性能調(diào)優(yōu) 238
9.1　配置參數(shù) 238
9.2　調(diào)優(yōu)技巧 239
9.2.1　調(diào)度與分區(qū)優(yōu)化 240
9.2.2　內(nèi)存存儲優(yōu)化 243
9.2.3　網(wǎng)絡(luò)傳輸優(yōu)化 249
9.2.4　序列化與壓縮 251
9.2.5　其他優(yōu)化方法 253
9.3　本章小結(jié) 255