高性能分布式計算系統(tǒng)開發(fā)與實現(xiàn)：基于Hadoop、Scalding和Spark

目　　錄

譯者序

前言

作者簡介

第一部分　高性能分布式計算編程基礎(chǔ)

第1章　引言2

1.1　分布式系統(tǒng)2

1.2　分布式系統(tǒng)類型5

1.2.1　分布式嵌入式系統(tǒng)5

1.2.2　分布式信息系統(tǒng)7

1.2.3　分布式計算系統(tǒng)8

1.3　分布式計算架構(gòu)9

1.4　分布式文件系統(tǒng)10

1.4.1　分布式文件系統(tǒng)需求10

1.4.2　分布式文件系統(tǒng)架構(gòu)11

1.5　分布式系統(tǒng)面臨的挑戰(zhàn)13

1.6　分布式系統(tǒng)的發(fā)展趨勢16

1.7　高性能分布式計算系統(tǒng)示例18

參考文獻20

第2章　Hadoop入門22

2.1　Hadoop簡介22

2.2　Hadoop生態(tài)系統(tǒng)24

2.3　Hadoop分布式文件系統(tǒng)26

2.3.1　HDFS的特性26

2.3.2　名稱節(jié)點和數(shù)據(jù)節(jié)點27

2.3.3　文件系統(tǒng)28

2.3.4　數(shù)據(jù)復(fù)制28

2.3.5　通信30

2.3.6　數(shù)據(jù)組織30

2.4　MapReduce準備工作31

2.5　安裝前的準備33

2.6　單節(jié)點集群的安裝35

2.7　多節(jié)點集群的安裝38

2.8　Hadoop編程45

2.9　Hadoop流48

參考文獻51

第3章　Spark入門53

3.1　Spark簡介53

3.2　Spark內(nèi)部結(jié)構(gòu)54

3.3　Spark安裝58

3.3.1　安裝前的準備58

3.3.2　開始使用60

3.3.3　示例：Scala應(yīng)用63

3.3.4　Python下Spark的使用65

3.3.5　示例：Python應(yīng)用67

3.4　Spark部署68

3.4.1　應(yīng)用提交68

3.4.2　單機模式70

參考文獻72

第4章　Scalding和Spark的內(nèi)部編程74

4.1　Scalding簡介74

4.1.1　安裝74

4.1.2　編程指南77

4.2　Spark編程指南103

參考文獻120

第二部分　使用Hadoop、Scalding和Spark的案例研究

第5章　案例研究Ⅰ：使用Scalding和Spark進行數(shù)據(jù)聚類122

5.1　簡介122

5.2　聚類122

5.2.1　聚類方法123

5.2.2　聚類處理125

5.2.3　K均值算法125

5.2.4　簡單的K均值示例126

5.3　實現(xiàn)128

問題142

參考文獻142

第6章　案例研究Ⅱ：使用Scalding和Spark進行數(shù)據(jù)分類144

6.1　分類145

6.2　概率論146

6.2.1　隨機變量146

6.2.2　分布146

6.2.3　均值和方差147

6.3　樸素貝葉斯148

6.3.1　概率模型148

6.3.2　參數(shù)估計和事件模型149

6.3.3　示例150

6.4　樸素貝葉斯分類器的實現(xiàn)152

6.4.1　Scalding實現(xiàn)153

6.4.2　結(jié)果166

問題168

參考文獻168

第7章　案例研究Ⅲ：使用Scalding和Spark進行回歸分析169

7.1　回歸分析的步驟169

7.2　實現(xiàn)細節(jié)172

7.2.1　線性回歸：代數(shù)方法173

7.2.2　代數(shù)方法的Scalding實現(xiàn)174

7.2.3　代數(shù)方法的Spark實現(xiàn)179

7.2.4　線性回歸：梯度下降法184

7.2.5　梯度下降法的Scalding實現(xiàn)187

7.2.6　梯度下降法的Spark實現(xiàn)195

問題198

參考文獻199

第8章　案例研究Ⅳ：使用Scalding和Spark實現(xiàn)推薦系統(tǒng)200

8.1　推薦系統(tǒng)200

8.1.1　目標201

8.1.2　推薦系統(tǒng)的數(shù)據(jù)源201

8.1.3　推薦系統(tǒng)中使用的技術(shù)202

8.2　實現(xiàn)細節(jié)204

8.2.1　Spark實現(xiàn)206

8.2.2　Scalding實現(xiàn)221

問題230

參考文獻230

索引233