Spark零基礎(chǔ)實戰(zhàn)

定　價：￥68.00

作　者：	王家林，孔祥瑞等著
出版社：	化學(xué)工業(yè)出版社
叢編項：
標　簽：	計算機/網(wǎng)絡(luò) 行業(yè)軟件及應(yīng)用

購買這本書可以去

ISBN：	9787122280176	出版時間：	2016-11-01	包裝：	平裝
開本：	16開	頁數(shù)：	307	字數(shù)：

內(nèi)容簡介

　　Spark是業(yè)界公認的近幾年發(fā)展快、受關(guān)注度的一體化多元化的大數(shù)據(jù)計算技術(shù)，可以同時滿足不同業(yè)務(wù)場景和不同數(shù)據(jù)規(guī)模的大數(shù)據(jù)計算的需要。本書首先通過代碼實戰(zhàn)的方式對學(xué)習(xí)Spark前必須掌握的Scala內(nèi)容進行講解并結(jié)合Spark源碼的閱讀來幫助讀者快速學(xué)習(xí)Scala函數(shù)式編程與面向?qū)ο笸昝澜Y(jié)合的編程藝術(shù)，接著對Hadoop和Spark集群安裝部署以及Spark在不同集成開發(fā)環(huán)境的開發(fā)實戰(zhàn)作出了詳細的講解，然后基于大量的實戰(zhàn)案例來講解Spark核心RDD編程并深度解密RDD的密碼，并且通過實戰(zhàn)的方式詳解了TopN在Spark RDD中的實現(xiàn)，為了讓讀者徹底了解Spark，本書用了大量的篇幅詳細解密了Spark的高可用性、內(nèi)核架構(gòu)、運行機制等內(nèi)容。 Spark零基礎(chǔ)實戰(zhàn)這本書定位于零基礎(chǔ)的學(xué)員，也可以作為有一定大數(shù)據(jù)Hadoop經(jīng)驗的從業(yè)者以及對大數(shù)據(jù)非常感興趣的學(xué)生的本Spark入門書籍。

作者簡介

　　王家林，DT大數(shù)據(jù)夢工廠/Spark亞太研究院，DT大數(shù)據(jù)夢工廠創(chuàng)始人/Spark亞太研究院院長及首席專家，DT 大數(shù)據(jù)夢工廠創(chuàng)始人和首席專家，Spark 亞太研究院院長和首席專家，移動互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)領(lǐng)域集大成者，多家公司的技術(shù)顧問，業(yè)界技術(shù)培訓(xùn)專家。大數(shù)據(jù)技術(shù)公益推廣人，大數(shù)據(jù)在線教育世界技術(shù)專家，Spark 大數(shù)據(jù)中國區(qū)培訓(xùn)專家。徹底研究了Spark 從0.5.0 到1.6.1 中共22 個版本的Spark 源碼，目前致力于開發(fā)全球優(yōu)化的Spark 中國版本。尤其擅長Spark 在生產(chǎn)環(huán)境下各種類型和場景故障的排除和解決，癡迷于Spark 生產(chǎn)環(huán)境下任意類型（例如Shuffle 和各種內(nèi)存問題）的Spark 程序的深度性能優(yōu)化。從2014 年6 月24 日起，已開啟免費的Spark 公開課《決勝大數(shù)據(jù)時代Spark100 期公益大講堂》。在2015 年12 月27 日成立DT 大數(shù)據(jù)夢工廠，開啟IMF（Impossible Mission Force）行動，率先在全球開展以Spark 為核心的，免費為社會培養(yǎng)100 萬企業(yè)級實戰(zhàn)高級大數(shù)據(jù)人才行動計劃，截止目前已有數(shù)千人參與到這個行動之中。曾負責某公司的類Hadoop 框架開發(fā)工作，是Hadoop 一站式解決方案的提供者，同時也是云計算和分布式大數(shù)據(jù)處理的較早實踐者之一，在實踐中用Hadoop 解決不同領(lǐng)域的大數(shù)據(jù)的高效處理和存儲。致力于Android、HTML5、Hadoop 等的軟、硬、云整合的一站式解決方案專家。2007 年國內(nèi)較早從事于Android 系統(tǒng)移植、軟硬整合、框架修改、應(yīng)用程序軟件開發(fā)以及Android 系統(tǒng)測試和應(yīng)用軟件測試的技術(shù)專家。2015年12月，在電視媒體錄制了《大數(shù)據(jù)的奧秘》，《大數(shù)據(jù)時代的九大神器》等視頻光盤。？ 2016年1月至今，直播培訓(xùn)課程Hadoop，MySQL，Linux，Scala，Java，Spark零基礎(chǔ)到高級企業(yè)級實戰(zhàn)，Spark源碼解析及性能優(yōu)化，JVM性能調(diào)優(yōu)，機器學(xué)習(xí)從零基礎(chǔ)到企業(yè)級實戰(zhàn)持續(xù)中。

圖書目錄

第1章Scala光速入門1
1.1Scala基礎(chǔ)與語法入門實戰(zhàn)1
1.1.1Scala基本數(shù)據(jù)類型1
1.1.2Scala變量聲明2
1.1.3算術(shù)操作符介紹2
1.1.4條件語句5
1.1.5循環(huán)6
1.1.6異?？刂?
1.2Scala中Array、Map等數(shù)據(jù)結(jié)構(gòu)實戰(zhàn)10
1.2.1定長數(shù)組和可變數(shù)組10
1.2.2數(shù)組常用算法10
1.2.3Map映射11
1.2.4Tuple元組12
1.2.5List列表12
1.2.6Set集合14
1.2.7Scala集合方法大全15
1.2.8綜合案例及Spark源碼解析17
1.3小結(jié)18
第2章Scala面向?qū)ο髲氐拙癝park源碼閱讀19
2.1Scala面向?qū)ο笤斀?9
2.1.1Scala中的class、object初介紹19
2.1.2主構(gòu)造器與輔助構(gòu)造器22
2.1.3類的字段和方法徹底精通23
2.1.4抽象類、接口的實戰(zhàn)詳解24
2.1.5Scala Option類詳解26
2.1.6object的提取器27
2.1.7Scala的樣例類實戰(zhàn)詳解27
2.2Scala綜合案例及Spark源碼解析28
2.3小結(jié)29
第3章Scala函數(shù)式編程徹底精通及Spark源碼閱讀30
3.1函數(shù)式編程概述30
3.2函數(shù)定義35
3.3函數(shù)式對象37
3.4本地函數(shù)41
3.5頭等函數(shù)42
3.6函數(shù)字面量和占位符43
3.6.1Scala占位符43
3.6.2函數(shù)字面量43
3.6.3部分應(yīng)用函數(shù)44
3.7閉包和Curring46
3.8高階函數(shù)49
3.9從Spark源碼角度解析Scala函數(shù)式編程55
3.10小結(jié)57
第4章Scala模式匹配、類型系統(tǒng)徹底精通與Spark源碼閱讀58
4.1模式匹配語法58
4.2模式匹配實戰(zhàn)59
4.2.1模式匹配基礎(chǔ)實戰(zhàn)59
4.2.2數(shù)組、元祖實戰(zhàn)59
4.2.3Option實戰(zhàn)60
4.2.4提取器60
4.2.5Scala異常處理與模式匹配61
4.2.6sealed密封類62
4.3類型系統(tǒng)62
4.3.1泛型62
4.3.2邊界63
4.3.3協(xié)變與逆變63
4.4Spark源碼閱讀64
4.5小結(jié)65
第5章Scala隱式轉(zhuǎn)換等徹底精通及Spark源碼閱讀66
5.1隱式轉(zhuǎn)換66
5.1.1隱式轉(zhuǎn)換的使用條件66
5.1.2隱式轉(zhuǎn)換實例66
5.2隱式類68
5.3隱式參數(shù)詳解68
5.4隱式值69
5.5Spark源碼閱讀解析69
5.6小結(jié)70
第6章并發(fā)編程及Spark源碼閱讀71
6.1并發(fā)編程徹底詳解71
6.1.1actor工作模型71
6.1.2發(fā)送消息72
6.1.3回復(fù)消息74
6.1.4actor創(chuàng)建74
6.1.5用上下文context創(chuàng)建actor75
6.1.6用ActorSystem創(chuàng)建actor76
6.1.7用匿名類創(chuàng)建actor76
6.1.8actor生命周期77
6.1.9終止actor78
6.1.10actor實戰(zhàn)80
6.2小結(jié)82
第7章源碼編譯83
7.1Windows下源碼編譯83
7.1.1下載Spark源碼83
7.1.2Sbt方式84
7.1.3Maven方式89
7.1.4需要注意的幾個問題90
7.2Ubuntu下源碼編譯92
7.2.1下載Spark源碼93
7.2.2Sbt方式95
7.2.3Maven方式96
7.2.4makedistribution.sh腳本方式98
7.2.5需要注意的幾個問題99
7.3小結(jié)100
第8章Hadoop分布式集群環(huán)境搭建101
8.1搭建Hadoop單機環(huán)境101
8.1.1安裝軟件下載101
8.1.2Ubuntu系統(tǒng)的安裝101
8.1.3Hadoop集群的安裝和設(shè)置109
8.1.4Hadoop單機模式下運行WordCount示例113
8.2Hadoop偽分布式環(huán)境115
8.2.1Hadoop偽分布式環(huán)境搭建115
8.2.2Hadoop偽分布式模式下運行WordCount示例117
8.3Hadoop完全分布式環(huán)境120
8.3.1Hadoop完全分布式環(huán)境搭建120
8.3.2Hadoop完全分布式模式下運行WordCount示例123
8.4小結(jié)125
第9章精通Spark集群搭建與測試127
9.1Spark集群所需軟件的安裝127
9.1.1安裝JDK127
9.1.2安裝Scala130
9.2Spark環(huán)境搭建132
9.2.1Spark單機與單機偽分布式環(huán)境132
9.2.2Spark Standalone集群環(huán)境搭建與配置135
9.2.3Spark Standalone環(huán)境搭建的驗證136
9.3Spark集群的測試137
9.3.1通過sparkshell腳本進行測試137
9.3.2通過sparksubmit腳本進行測試145
9.4小結(jié)145
第10章Scala IDE開發(fā)Spark程序?qū)崙?zhàn)解析146
10.1Scala IDE安裝146
10.1.1Ubuntu系統(tǒng)下安裝146
10.1.2Windows系統(tǒng)下安裝147
10.2ScalaIDE開發(fā)重點步驟詳解148
10.3Wordcount創(chuàng)建實戰(zhàn)152
10.4Spark源碼導(dǎo)入Scala IDE154
10.5小結(jié)164
第11章實戰(zhàn)詳解IntelliJ IDEA下的Spark程序開發(fā)165
11.1IDEA安裝165
11.1.1Ubuntu系統(tǒng)下安裝165
11.1.2Windows系統(tǒng)下安裝167
11.2IDEA開發(fā)重點步驟詳解168
11.2.1環(huán)境配置168
11.2.2項目創(chuàng)建170
11.2.3Spark包引入174
11.3Wordcount創(chuàng)建實戰(zhàn)174
11.4IDEA導(dǎo)入Spark源碼177
11.5小結(jié)183
第12章Spark簡介184
12.1Spark發(fā)展歷史184
12.2Spark在國內(nèi)外的使用185
12.3Spark生態(tài)系統(tǒng)簡介188
12.3.1Hadoop生態(tài)系統(tǒng)189
12.3.2BDAS生態(tài)系統(tǒng)195
12.3.3其他199
12.4小結(jié)199
第13章Spark RDD解密200
13.1淺談RDD200
13.2創(chuàng)建RDD的幾種常用方式204
13.3Spark RDD API解析及其實戰(zhàn)206
13.4RDD的持久化解析及其實戰(zhàn)217
13.5小結(jié)218
第14章Spark程序之分組TopN開發(fā)實戰(zhàn)解析219
14.1分組TopN動手實戰(zhàn)219
14.1.1Java之分組TopN開發(fā)實戰(zhàn)219
14.1.2Scala之分組TopN開發(fā)實戰(zhàn)226
14.2Scala之分組TopN運行原理解密232
14.2.1textFile232
14.2.2map234
14.2.3groupByKey234
14.3小結(jié)237
第15章MasterHA工作原理解密238
15.1Spark需要Master HA的原因238
15.2Spark Master HA的實現(xiàn)238
15.3Spark和ZOOKEEPER的協(xié)同工作機制240
15.4ZOOKEEPER實現(xiàn)應(yīng)用實戰(zhàn)242
15.5小結(jié)247
第16章Spark內(nèi)核架構(gòu)解密248
16.1Spark的運行過程248
16.1.1SparkContext的創(chuàng)建過程248
16.1.2Driver的注冊過程249
16.1.3Worker中任務(wù)的執(zhí)行254
16.1.4任務(wù)的調(diào)度過程255
16.1.5Job執(zhí)行結(jié)果的產(chǎn)生257
16.2小結(jié)259
第17章Spark運行原理實戰(zhàn)解析260
17.1用戶提交程序Driver端解析260
17.1.1SparkConf解析263
17.1.2SparkContext解析264
17.1.3DAGScheduler創(chuàng)建271
17.1.4TaskScheduler創(chuàng)建272
17.1.5SchedulerBackend創(chuàng)建273
17.1.6Stage劃分與TaskSet生成274
17.1.7任務(wù)提交280
17.2Spark運行架構(gòu)解析283
17.2.1Spark基本組件介紹283
17.2.2Spark的運行邏輯285
17.3Spark在不同集群上的運行架構(gòu)291
17.3.1Spark在Standalone模式下的運行架構(gòu)291
17.3.2Spark on yarn的運行架構(gòu)294
17.3.3Spark在不同模式下的應(yīng)用實戰(zhàn)297
17.4Spark運行架構(gòu)的實戰(zhàn)解析300
17.5小結(jié)307