Spark大數(shù)據(jù)實(shí)時(shí)計(jì)算：基于Scala開(kāi)發(fā)實(shí)戰(zhàn)

第 1章　Scala入門基礎(chǔ) 1
1.1　Scala語(yǔ)言的特色　1
1.2　搭建Scala開(kāi)發(fā)環(huán)境　3
1.2.1　安裝JDK　3
1.2.2　安裝Scala SDK　3
1.2.3　安裝IDEA Scala插件　4
1.3　Scala解釋器　7
1.3.1　啟動(dòng)Scala解釋器　8
1.3.2　執(zhí)行Scala代碼　8
1.3.3　退出Scala解釋器　8
1.4　Scala語(yǔ)法基礎(chǔ)　8
1.4.1　定義變量　8
1.4.2　惰性賦值　9
1.4.3　字符串　10
1.4.4　數(shù)據(jù)類型與運(yùn)算符　11
1.4.5　條件表達(dá)式　12
1.5　Scala控制結(jié)構(gòu)和函數(shù)　14
1.5.1　for表達(dá)式　14
1.5.2　while循環(huán)　16
1.5.3　函數(shù)　16
1.5.4　方法和函數(shù)的區(qū)別　17
1.6　方法　18
1.6.1　定義方法　18
1.6.2　方法參數(shù)　18
1.6.3　方法調(diào)用方式　19
1.7　數(shù)組　20
1.7.1　定長(zhǎng)數(shù)組　21
1.7.2　變長(zhǎng)數(shù)組　21
1.7.3　遍歷數(shù)組　22
1.8　元組和列表　23
1.8.1　元組　23
1.8.2　列表　24
1.8.3　Set集合　30
1.9　Map映射　32
1.9.1　不可變Map　32
1.9.2　可變Map　33
1.9.3　Map基本操作　33
1.10　函數(shù)式編程　35
1.10.1　遍歷（foreach）　35
1.10.2　使用類型推斷簡(jiǎn)化函數(shù)定義　36
1.10.3　使用下畫線簡(jiǎn)化函數(shù)定義　36
1.10.4　映射（map）　36
1.10.5　扁平化映射（flatMap）　37
1.10.6　過(guò)濾（filter）　38
1.10.7　排序　38
1.10.8　分組（groupBy）　40
1.10.9　聚合（reduce）　40
1.10.10　折疊（fold）　41
1.11　本章總結(jié)　42
1.12　本章習(xí)題　42
第　2章 Scala面向?qū)ο缶幊獭?3
2.1　類與對(duì)象　43
2.2　定義和訪問(wèn)成員變量　44
2.3　使用下畫線初始化成員變量　46
2.4　定義成員方法　47
2.5　訪問(wèn)修飾符　48
2.6　類的構(gòu)造器　51
2.6.1　主構(gòu)造器　51
2.6.2　輔助構(gòu)造器　52
2.7　單例對(duì)象　53
2.7.1　定義單例對(duì)象　53
2.7.2　在單例對(duì)象中定義成員方法　54
2.7.3　工具類案例　54
2.8　main方法　55
2.8.1　定義main方法　55
2.8.2　實(shí)現(xiàn)App trait來(lái)定義入口　55
2.9　伴生對(duì)象　56
2.9.1　定義伴生對(duì)象　56
2.9.2　apply和unapply方法　57
2.10　繼承　59
2.10.1　定義語(yǔ)法　60
2.10.2　類繼承　60
2.10.3　單例對(duì)象繼承　61
2.10.4　override和super　61
2.11　類型判斷　62
2.11.1　isInstanceOf和asInstanceOf方法　62
2.11.2　getClass和classOf　63
2.12　抽象類　64
2.13　匿名內(nèi)部類　65
2.14　特質(zhì)　66
2.14.1　trait作為接口使用　66
2.14.2　trait中定義具體的字段和抽象字段　68
2.14.3　使用trait實(shí)現(xiàn)模板模式　69
2.14.4　對(duì)象混入trait　70
2.14.5　使用trait實(shí)現(xiàn)調(diào)用鏈模式　71
2.14.6　trait調(diào)用鏈　72
2.14.7　trait的構(gòu)造機(jī)制　74
2.14.8　trait繼承類　74
2.15　本章總結(jié)　75
2.16　本章習(xí)題　75
第3章　Scala編程高級(jí)應(yīng)用　76
3.1　樣例類　76
3.1.1　定義樣例類　76
3.1.2　樣例類方法　77
3.1.3　樣例對(duì)象　78
3.2　模式匹配　79
3.2.1　簡(jiǎn)單匹配　79
3.2.2　守衛(wèi)　80
3.2.3　匹配類型　80
3.2.4　匹配集合　81
3.2.5　變量聲明中的模式匹配　82
3.2.6　匹配樣例類　83
3.3　Option類型　83
3.4　偏函數(shù)　84
3.5　正則表達(dá)式　85
3.6　異常處理　86
3.6.1　捕獲異?！?6
3.6.2　拋出異?！?7
3.7　提取器　88
3.8　泛型　89
3.8.1　定義泛型方法　90
3.8.2　定義泛型類　90
3.8.3　上下界　91
3.8.4　非變、協(xié)變和逆變　92
3.9　Actor　93
3.9.1　Java并發(fā)編程的問(wèn)題　94
3.9.2　Actor并發(fā)編程模型　94
3.9.3　Java并發(fā)編程與Actor并發(fā)編程　95
3.10　Actor編程案例　95
3.10.1　創(chuàng)建Actor　95
3.10.2　發(fā)送消息/接收消息　96
3.10.3　持續(xù)接收消息　97
3.10.4　共享線程　99
3.10.5　發(fā)送和接收自定義消息　99
3.10.6　基于Actor實(shí)現(xiàn)WordCount案例　101
3.11　本章總結(jié)　103
3.12　本章習(xí)題　103
第4章　Scala函數(shù)式編程思想　104
4.1　作為值的函數(shù)　104
4.2　匿名函數(shù)　105
4.3　柯里化　105
4.4　閉包　106
4.5　隱式轉(zhuǎn)換　107
4.6　隱式參數(shù)　109
4.7　Akka并發(fā)編程框架　109
4.7.1　Akka特性　110
4.7.2　Akka通信過(guò)程　110
4.7.3　創(chuàng)建ActorSystem　111
4.8　Akka編程入門案例　111
4.8.1　實(shí)現(xiàn)步驟　112
4.8.2　配置Maven模塊依賴　112
4.9　Akka定時(shí)任務(wù)　114
4.10　實(shí)現(xiàn)兩個(gè)進(jìn)程之間的通信　116
4.11　本章總結(jié)　119
4.12　本章習(xí)題　119
第5章　Spark安裝部署與入門　120
5.1　Spark簡(jiǎn)介　120
5.1.1　MapReduce與Spark　120
5.1.2　Spark組件　122
5.1.3　Spark生態(tài)系統(tǒng)　123
5.1.4　Spark架構(gòu)　124
5.1.5　Spark運(yùn)行部署模式　125
5.1.6　Spark遠(yuǎn)程過(guò)程調(diào)用協(xié)議　126
5.2　Spark環(huán)境搭建　126
5.2.1　本地模式部署　126
5.2.2　Standalone集群模式　128
5.2.3　Standalone-HA集群模式　130
5.2.4　YARN集群模式　132
5.2.5　Spark命令　137
5.3　編寫Spark應(yīng)用程序　139
5.3.1　Maven簡(jiǎn)介　140
5.3.2　安裝Maven　140
5.3.3　Spark開(kāi)發(fā)環(huán)境搭建　141
5.3.4　配置pom.xml文件　143
5.3.5　開(kāi)發(fā)應(yīng)用程序——本地運(yùn)行　147
5.3.6　修改應(yīng)用程序——集群運(yùn)行　148
5.3.7　集群硬件配置說(shuō)明　150
5.4　本章總結(jié)　152
5.5　本章習(xí)題　152
第6章　SparkCore編程　153
6.1　RDD概念與詳解　153
6.1.1　RDD簡(jiǎn)介　153
6.1.2　RDD的主要屬性　154
6.1.3　小結(jié)　156
6.2　RDD API應(yīng)用程序　156
6.3　RDD的方法(算子)分類　157
6.3.1　Transformation算子　158
6.3.2　Action算子　160
6.4　基礎(chǔ)練習(xí)　160
6.4.1　實(shí)現(xiàn)WordCount案例　161
6.4.2　創(chuàng)建RDD　162
6.4.3　map　163
6.4.4　filter　163
6.4.5　flatMap　164
6.4.6　sortBy　164
6.4.7　交集、并集、差集、笛卡爾積　165
6.4.8　groupByKey　165
6.4.9　groupBy　166
6.4.10　reduce　166
6.4.11　reduceByKey　166
6.4.12　repartition　167
6.4.13　count　167
6.4.14　top　168
6.4.15　take　168
6.4.16　first　168
6.4.17　keys、values　168
6.4.18　案例　169
6.5　實(shí)戰(zhàn)案例　169
6.5.1　統(tǒng)計(jì)平均年齡　169
6.5.2　統(tǒng)計(jì)人口信息　171
6.5.3　在IDEA中實(shí)現(xiàn)WordCount案例　174
6.5.4　小結(jié)　176
6.6　RDD持久化緩存　176
6.7　持久化緩存API詳解　177
6.7.1　persist方法和cache方法　177
6.7.2　存儲(chǔ)級(jí)別　179
6.7.3　小結(jié)　181
6.8　RDD容錯(cuò)機(jī)制Checkpoint　181
6.8.1　代碼演示　181
6.8.2　容錯(cuò)機(jī)制Checkpoint詳解　182
6.9　本章總結(jié)　183
6.10　本章習(xí)題　183
第7章　SparkCore運(yùn)行原理　184
7.1　RDD依賴關(guān)系　184
7.1.1　窄依賴與寬依賴　184
7.1.2　對(duì)比窄依賴與寬依賴　185
7.2　DAG的生成和劃分階段　186
7.2.1　DAG的生成　186
7.2.2　DAG劃分階段　186
7.2.3　小結(jié)　188
7.3　Spark原理初探　188
7.3.1　Spark相關(guān)的應(yīng)用概念　189
7.3.2　Spark基本流程概述　191
7.3.3　流程圖解　191
7.3.4　RDD在Spark中的運(yùn)行過(guò)程　192
7.3.5　小結(jié)　193
7.4　RDD累加器和廣播變量　193
7.4.1　累加器　194
7.4.2　廣播變量　196
7.5　RDD的數(shù)據(jù)源　198
7.5.1　普通文本文件　198
7.5.2　Hadoop API　199
7.5.3　SequenceFile　200
7.5.4　對(duì)象文件　201
7.5.5　HBase　202
7.5.6　JDBC　204
7.6　本章總結(jié)　207
7.7　本章習(xí)題　207
第8章　Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理入門　208
8.1　數(shù)據(jù)分析方式　208
8.1.1　命令式　208
8.1.2　SQL式　209
8.2　Spark SQL的發(fā)展　210
8.3　數(shù)據(jù)分類和Spark SQL適用場(chǎng)景　211
8.3.1　結(jié)構(gòu)化數(shù)據(jù)　211
8.3.2　半結(jié)構(gòu)化數(shù)據(jù)　212
8.3.3　非結(jié)構(gòu)化數(shù)據(jù)　213
8.4　Spark SQL特點(diǎn)　214
8.5　Spark SQL數(shù)據(jù)抽象　214
8.6　DataFrame簡(jiǎn)介　215
8.7　Dataset簡(jiǎn)介　215
8.8　RDD、DataFrame和Dataset的區(qū)別　216
8.9　Spark SQL初體驗(yàn)　218
8.9.1　SparkSession入口　218
8.9.2　創(chuàng)建DataFrame　219
8.9.3　創(chuàng)建Dataset　222
8.9.4　兩種查詢風(fēng)格　224
8.10　本章總結(jié)　229
8.11　本章習(xí)題　229
第9章　Spark SQL結(jié)構(gòu)化數(shù)據(jù)處理高級(jí)應(yīng)用　230
9.1　使用IDEA開(kāi)發(fā)Spark SQL　230
9.1.1　創(chuàng)建DataFrame和Dataset　231
9.1.2　花式查詢　233
9.1.3　相互轉(zhuǎn)換　235
9.1.4　Spark SQL詞頻統(tǒng)計(jì)實(shí)戰(zhàn)　237
9.2　Spark SQL多數(shù)據(jù)源交互　240
9.3　Spark SQL自定義函數(shù)　242
9.3.1　自定義函數(shù)分類　242
9.3.2　UDF　243
9.3.3　UDAF　244
9.4　Spark on Hive　247
9.4.1　開(kāi)啟Hive的元數(shù)據(jù)庫(kù)服務(wù)　247
9.4.2　Spark SQL整合Hive元數(shù)據(jù)庫(kù)　248
9.4.3　使用Spark SQL操作Hive表　248
9.5　本章總結(jié)　249
9.6　本章習(xí)題　249
第　10章 Spark Streaming核心編程　250
10.1　場(chǎng)景需求　250
10.2　Spark Streaming概述　251
10.2.1　Spark Streaming的特點(diǎn)　252
10.2.2　Spark Streaming實(shí)時(shí)計(jì)算所處的位置　252
10.3　Spark Streaming原理　254
10.3.1　基本流程　255
10.3.2　數(shù)據(jù)模型　255
10.4　DStream相關(guān)的API　256
10.4.1　Transformation　257
10.4.2　Output　257
10.5　Spark Streaming原理總結(jié)　258
10.6　Spark Streaming實(shí)戰(zhàn)　258
Spark　Streaming第 一個(gè)案例WordCount　258
10.7　updateStateByKey算子　262
10.7.1　WordCount案例問(wèn)題分析　262
10.7.2　代碼實(shí)現(xiàn)　262
10.7.3　執(zhí)行步驟　263
10.8　reduceByKeyAndWindow算子　264
10.8.1　圖解reduceByKeyAndWindow算子　264
10.8.2　代碼實(shí)現(xiàn)　264
10.8.3　執(zhí)行步驟　266
10.9　統(tǒng)計(jì)一定時(shí)間內(nèi)的熱搜詞　266
10.9.1　需求分析　266
10.9.2　代碼實(shí)現(xiàn)　266
10.9.3　執(zhí)行步驟　268
10.10　整合Kafka　268
10.10.1　Kafka基本概念　268
10.10.2　Kafka的特性　268
10.10.3　核心概念圖解　269
10.10.4　Kafka集群部署　270
10.10.5　Kafka常用命令　275
10.10.6　Receiver接收方式　276
10.10.7　Direct直連方式　277
10.10.8　spark-streaming-kafka-0-8版本　277
10.10.9　spark-streaming-kafka-0-10版本　282
10.11　本章總結(jié)　285
10.12　本章習(xí)題　285
第　11章 Spark綜合項(xiàng)目實(shí)戰(zhàn)　286
11.1　網(wǎng)站運(yùn)營(yíng)指標(biāo)統(tǒng)計(jì)項(xiàng)目　286
11.1.1　需求分析　286
11.1.2　數(shù)據(jù)分析　287
11.1.3　代碼實(shí)現(xiàn)　287
11.2　熱力圖分析項(xiàng)目　289
11.2.1　需求分析　289
11.2.2　數(shù)據(jù)分析　289
11.2.3　項(xiàng)目開(kāi)發(fā)　290
11.3　本章總結(jié)　300
11.4　本章習(xí)題　300