Hadoop大數(shù)據(jù)技術(shù)應(yīng)用實(shí)踐

目  錄 IV
第1章  Hadoop初識(shí)簡(jiǎn)介 1
1.1  Hadoop介紹 1
1.1.1  Hadoop簡(jiǎn)述 1
1.1.2  Hadoop的特點(diǎn) 1
1.1.3  Hadoop的發(fā)展 3
1.2  Hadoop體系架構(gòu) 3
1.2.1  HDFS結(jié)構(gòu) 3
1.2.2  MapReduce結(jié)構(gòu) 4
1.2.3  HBase結(jié)構(gòu) 6
1.2.4  Hive結(jié)構(gòu) 6
1.2.5  Mahout介紹 7
1.3  Hadoop軟件安裝及配置 8
1.3.1  編譯安裝與基礎(chǔ)介紹 8
1.3.2  Linux環(huán)境下安裝 12
1.3.3  安裝配置環(huán)境變量 15
1.3.4  設(shè)置免密碼登陸 16
1.3.5  配置時(shí)間同步 16
本章習(xí)題 21
第2章  Hadoop開(kāi)源項(xiàng)目及偽分布式實(shí)現(xiàn) 23
2.1  Zookeeper簡(jiǎn)介 23
2.1.1  Zookeeper介紹 23
2.1.2  Zookeeper用途及特點(diǎn) 24
2.1.3  Zookeeper安裝使用 25
2.2  單節(jié)點(diǎn)偽分布式安裝 29
2.2.1  Hadoop配置文件說(shuō)明 29
2.2.2  格式化HDFS文件系統(tǒng) 30
2.2.3  進(jìn)程管理 30
本章習(xí)題 34
第3章  分布式存儲(chǔ)HDFS 36
3.1  HDFS分布式文件系統(tǒng)安裝 36
3.1.1  HDFS介紹 36
3.1.2  HDFS的安裝過(guò)程 36
3.1.3  HDFS常用的一些簡(jiǎn)單的Shell命令 40
3.2  HDFS的相關(guān)概念 40
3.2.1  塊及數(shù)據(jù)分片 40
3.2.1  名稱(chēng)節(jié)點(diǎn)NameNode和數(shù)據(jù)節(jié)點(diǎn)DataNode 41
3.2.3  第二個(gè)名稱(chēng)節(jié)點(diǎn)SecondaryNameNode 43
3.3  HDFS的文件存儲(chǔ)機(jī)制 45
3.3.1  文件存儲(chǔ)機(jī)制概述 45
3.3.2  HDFS的命名空間 45
3.3.3  客戶(hù)端 46
3.3.4  通信協(xié)議 46
3.4  HDFS的數(shù)據(jù)存儲(chǔ)管理 46
3.4.1  數(shù)據(jù)冗余存儲(chǔ) 46
3.4.2  數(shù)據(jù)存取策略 46
3.4.3  數(shù)據(jù)錯(cuò)誤與恢復(fù) 48
3.5  HDFS的數(shù)據(jù)讀寫(xiě)過(guò)程 48
3.5.1  讀取數(shù)據(jù)過(guò)程 48
3.5.2  寫(xiě)入數(shù)據(jù)過(guò)程 49
3.6  分布式及RPC通信簡(jiǎn)介 50
3.6.1  什么是RPC 50
3.6.2  如何實(shí)現(xiàn)一個(gè)RPC框架 50
3.6.3  Hadoop的RPC框架 50
3.6.4  實(shí)驗(yàn)過(guò)程 50
3.7  創(chuàng)建HDFS項(xiàng)目 55
3.7.1  Hadoop的Shell命令 55
3.7.2  利用Java API與HDFS進(jìn)行人機(jī)交互 56
本章習(xí)題 63
第4章  MapReduce編程模型 65
4.1  MapReduce簡(jiǎn)介 65
4.1.1  MapReduce產(chǎn)生 65
4.1.2  MapReduce的數(shù)據(jù)類(lèi)型 65
4.2  MapReduce架構(gòu) 66
4.2.1  MapReduce的執(zhí)行過(guò)程 66
4.2.2  Mapper過(guò)程 71
4.2.3  Reducer過(guò)程 71
4.2.4  Shuffle過(guò)程 71
4.3  MapReduce接口類(lèi) 72
4.3.1  輸入的處理類(lèi) 72
4.3.2  輸出的處理類(lèi) 74
4.4  MapReduce編程模型實(shí)現(xiàn) 74
4.4.1  創(chuàng)建項(xiàng)目 74
4.4.2  編寫(xiě)MapReduce程序代碼 75
4.4.3  本地運(yùn)行測(cè)試 77
4.4.4  Jar打包 79
4.5  MapReduce典型案例-WordCount 79
4.5.1  WordCount任務(wù)目標(biāo) 79
4.5.2  基于MapReduce的WordCount設(shè)計(jì)思路 80
4.5.3  任務(wù)執(zhí)行 80
4.5.4  實(shí)例演示 81
4.6  分布式資源調(diào)度系統(tǒng)YARN的安裝 83
4.6.1  YARN的概念 83
4.6.2  YARN的運(yùn)行機(jī)制 84
4.6.3  YARN資源調(diào)度方式 84
4.6.4  YARN的安裝配置 85
4.7  MapReduce和YARN命令 88
4.7.1  Hadoop的shell腳本 88
4.7.2  集群上運(yùn)行介紹 90
4.7.3  實(shí)驗(yàn)過(guò)程 91
本章習(xí)題 94
第5章  Hadoop數(shù)據(jù)倉(cāng)庫(kù)Hive 97
5.1  Hive簡(jiǎn)介 97
5.1.1  Hive設(shè)計(jì)特點(diǎn) 97
5.1.2  Hive系統(tǒng)架構(gòu) 98
5.1.3  Hive數(shù)據(jù)模型 98
5.1.4  Hive安裝 99
5.2  Hive DDL 104
5.2.1  DDL基本格式 104
5.2.2  Hive數(shù)據(jù)類(lèi)型 105
5.2.3  使用Hive創(chuàng)建數(shù)據(jù)庫(kù) 106
5.3  Hive DML 113
5.3.1  數(shù)據(jù)操縱語(yǔ)言DML操作 113
5.3.2  類(lèi)型 113
5.3.3  向Hive插入數(shù)據(jù) 114
5.3.4  Hive的其他語(yǔ)句 116
5.4  基于Hive的UDF V1.0 118
5.4.1  UDF的使用介紹 118
5.4.2  實(shí)驗(yàn)操作 120
5.5  Hive數(shù)據(jù)清洗項(xiàng)目 122
5.5.1  數(shù)據(jù)清洗介紹 122
5.5.2  用戶(hù)關(guān)系模型介紹 124
5.5.3  挖掘用戶(hù)的基本問(wèn)題 124
5.5.4  Hive數(shù)據(jù)清洗項(xiàng)目使用 125
5.6  Hive統(tǒng)計(jì)UV項(xiàng)目 127
5.6.1  PV統(tǒng)計(jì)（頁(yè)面訪(fǎng)問(wèn)量） 127
5.6.2  UV統(tǒng)計(jì)（獨(dú)立訪(fǎng)客） 128
5.6.3  Hive統(tǒng)計(jì)UV項(xiàng)目的使用 128
本章習(xí)題 131
第6章  Hadoop數(shù)據(jù)庫(kù)HBase 133
6.1  HBase簡(jiǎn)介 133
6.2  HBase的shell應(yīng)用v2.0 134
6.2.1  HBase體系架構(gòu) 134
6.2.2  HBase邏輯視圖 137
6.2.3  HBase的使用操作 138
6.3  使用Hive操作HBase 140
6.3.1  Hive整合HBase原理 140
6.3.2  操作使用 141
6.4  HBase的JavaAPI應(yīng)用 142
6.4.1  創(chuàng)建連接 142
6.4.2  實(shí)驗(yàn)步驟 144
6.5  HBase學(xué)生選課案例 147
6.5.1  學(xué)生選課案例簡(jiǎn)介 147
6.5.2  學(xué)生選課案例講解與操作 149
6.6  HBase微博案例 155
6.6.1  微博案例簡(jiǎn)介 155
6.6.2  微博案例講解與操作 157
本章練習(xí) 164
第7章  Pig語(yǔ)言 166
7.1  Pig簡(jiǎn)介 166
7.1.1  認(rèn)識(shí)Pig 166
7.1.2  Pig和MapReduce的區(qū)別 167
7.1.3  Pig的用途 168
7.1.4  Pig和Hive 168
7.2  Pig的安裝與運(yùn)行 169
7.2.1  Pig包的下載 169
7.2.2  Pig的安裝 170
7.3  命令行交互工具Grunt 171
7.3.1  Grunt介紹 171
7.3.2  Grunt中輸入Pig Latin腳本 171
7.3.3  Grunt中使用HDFS命令 171
7.3.4  Grunt中控制Pig 172
7.3.5  實(shí)驗(yàn)案例 172
7.4  Pig數(shù)據(jù)模型 175
7.4.1  數(shù)據(jù)類(lèi)型 175
7.4.2  模式 177
7.4.3  數(shù)據(jù)模型的使用 178
7.5  Pig Latin基礎(chǔ)知識(shí) 179
7.5.1  Pig Latin介紹 179
7.5.2  輸入和輸出 180
7.5.3  Pig Latin的使用 181
7.6  Pig Latin關(guān)系操作 182
7.6.1  Foreach數(shù)據(jù)轉(zhuǎn)換 182
7.6.2  Filter過(guò)濾 182
7.6.3  Group分組 182
7.6.7  Order by排序 182
7.6.5  Distinct 183
7.6.6  Join 183
7.6.7  Limit 183
7.6.8  Sample 183
7.6.9  Parallel 183
7.6.10  運(yùn)行Pig程序示例 183
7.7  Pig Latin高級(jí)應(yīng)用 191
7.7.1  Group應(yīng)用 191
7.7.2  Cross應(yīng)用 192
7.7.3  Distinct應(yīng)用 192
7.7.4  Filter應(yīng)用 192
7.7.5  Foreach應(yīng)用 192
7.7.6  復(fù)雜關(guān)系應(yīng)用 192
7.7.7  在Pig中集成遺留代碼和MapReduce程序 194
7.7.8  非線(xiàn)性數(shù)據(jù)流 194
7.7.9  執(zhí)行過(guò)程控制 195
7.7.10  Pig Latin預(yù)處理器 195
7.7.11  運(yùn)行Pig程序示例 195
本章練習(xí) 202
第8章  Hadoop項(xiàng)目案例 204
8.1  QQ好友推薦算法 204
8.1.1  實(shí)現(xiàn)思路 204
8.1.2  代碼實(shí)現(xiàn) 204
8.2  PageRank算法 209
8.2.1  PageRank算法簡(jiǎn)介 209
8.2.2  PageRank原理介紹 210
8.2.3  PageRank簡(jiǎn)單計(jì)算 210
8.3  TF-IDF算法 213
8.3.1  TF-IDF簡(jiǎn)介 213
8.3.2  TF-IDF實(shí)現(xiàn) 214
8.3.3  TF-IDF應(yīng)用 214
8.3.4  權(quán)重 214
8.4  數(shù)據(jù)關(guān)聯(lián)案例 222
8.4.1  常用思路 223
8.4.2  編碼思路 223
8.4.3  實(shí)驗(yàn) 223
8.5  ETL案例 224
8.5.1  數(shù)據(jù)ETL 225
8.5.2  實(shí)驗(yàn) 225
8.6  PV、UV統(tǒng)計(jì)案例 228
8.6.1  針對(duì)某一類(lèi)網(wǎng)址的PV、UV 228
8.6.2  得到PV、UV的后續(xù)處理 229
8.6.3  實(shí)驗(yàn) 229
8.7  用戶(hù)流失和新增分析案例 231
8.8  Hadoop總結(jié) 234
8.8.1  打包作業(yè) 234
8.8.2  啟動(dòng)作業(yè) 235
8.8.3  提交命令封裝 236
本章習(xí)題 236
第9章  Mahout項(xiàng)目案例 239
9.1  Mahout環(huán)境配置 240
9.1.1  單機(jī)環(huán)境配置 240
9.1.2  基于Hadoop集群的Mahout環(huán)境配置 240
9.2  協(xié)同過(guò)濾推薦算法 243
9.2.1  Taste簡(jiǎn)介 243
9.2.2  基于用戶(hù)的協(xié)同過(guò)濾算法 244
9.2.3  基于項(xiàng)目的協(xié)同過(guò)濾算法 247
9.2.4  基于ALS的矩陣分解算法 248
9.2.5  基于SVD的推薦算法 249
9.3  聚類(lèi)算法 252
9.3.1  Canopy聚類(lèi) 252
9.3.2  K-Means聚類(lèi) 253
9.3.3  Fuzzy K-Means聚類(lèi)算法 253
9.3.4  Streaming K-Means聚類(lèi) 254
9.3.5  Spectral譜聚類(lèi)算法類(lèi) 255
9.4  分類(lèi)算法 255
9.4.1  Logistic回歸算法 256
9.4.2  樸素貝葉斯分類(lèi)器 258
9.4.3  隨機(jī)森林 258
9.4.4  隱馬爾科夫模型 259
本章習(xí)題 260
參考文獻(xiàn) 263
附錄 265
一．  本書(shū)中出現(xiàn)的專(zhuān)業(yè)術(shù)語(yǔ)縮寫(xiě)英漢對(duì)照表 265
二．  習(xí)題參考答案 267
目  錄 IV
第1章  Hadoop初識(shí)簡(jiǎn)介 1
1.1  Hadoop介紹 1
1.1.1  Hadoop簡(jiǎn)述 1
1.1.2  Hadoop的特點(diǎn) 1
1.1.3  Hadoop的發(fā)展 3
1.2  Hadoop體系架構(gòu) 3
1.2.1  HDFS結(jié)構(gòu) 3
1.2.2  MapReduce結(jié)構(gòu) 4
1.2.3  HBase結(jié)構(gòu) 6
1.2.4  Hive結(jié)構(gòu) 6
1.2.5  Mahout介紹 7
1.3  Hadoop軟件安裝及配置 8
1.3.1  編譯安裝與基礎(chǔ)介紹 8
1.3.2  Linux環(huán)境下安裝 12
1.3.3  安裝配置環(huán)境變量 15
1.3.4  設(shè)置免密碼登陸 16
1.3.5  配置時(shí)間同步 16
本章習(xí)題 21
第2章  Hadoop開(kāi)源項(xiàng)目及偽分布式實(shí)現(xiàn) 23
2.1  Zookeeper簡(jiǎn)介 23
2.1.1  Zookeeper介紹 23
2.1.2  Zookeeper用途及特點(diǎn) 24
2.1.3  Zookeeper安裝使用 25
2.2  單節(jié)點(diǎn)偽分布式安裝 29
2.2.1  Hadoop配置文件說(shuō)明 29
2.2.2  格式化HDFS文件系統(tǒng) 30
2.2.3  進(jìn)程管理 30
本章習(xí)題 34
第3章  分布式存儲(chǔ)HDFS 36
3.1  HDFS分布式文件系統(tǒng)安裝 36
3.1.1  HDFS介紹 36
3.1.2  HDFS的安裝過(guò)程 36
3.1.3  HDFS常用的一些簡(jiǎn)單的Shell命令 40
3.2  HDFS的相關(guān)概念 40
3.2.1  塊及數(shù)據(jù)分片 40
3.2.1  名稱(chēng)節(jié)點(diǎn)NameNode和數(shù)據(jù)節(jié)點(diǎn)DataNode 41
3.2.3  第二個(gè)名稱(chēng)節(jié)點(diǎn)SecondaryNameNode 43
3.3  HDFS的文件存儲(chǔ)機(jī)制 45
3.3.1  文件存儲(chǔ)機(jī)制概述 45
3.3.2  HDFS的命名空間 45
3.3.3  客戶(hù)端 46
3.3.4  通信協(xié)議 46
3.4  HDFS的數(shù)據(jù)存儲(chǔ)管理 46
3.4.1  數(shù)據(jù)冗余存儲(chǔ) 46
3.4.2  數(shù)據(jù)存取策略 46
3.4.3  數(shù)據(jù)錯(cuò)誤與恢復(fù) 48
3.5  HDFS的數(shù)據(jù)讀寫(xiě)過(guò)程 48
3.5.1  讀取數(shù)據(jù)過(guò)程 48
3.5.2  寫(xiě)入數(shù)據(jù)過(guò)程 49
3.6  分布式及RPC通信簡(jiǎn)介 50
3.6.1  什么是RPC 50
3.6.2  如何實(shí)現(xiàn)一個(gè)RPC框架 50
3.6.3  Hadoop的RPC框架 50
3.6.4  實(shí)驗(yàn)過(guò)程 50
3.7  創(chuàng)建HDFS項(xiàng)目 55
3.7.1  Hadoop的Shell命令 55
3.7.2  利用Java API與HDFS進(jìn)行人機(jī)交互 56
本章習(xí)題 63
第4章  MapReduce編程模型 65
4.1  MapReduce簡(jiǎn)介 65
4.1.1  MapReduce產(chǎn)生 65
4.1.2  MapReduce的數(shù)據(jù)類(lèi)型 65
4.2  MapReduce架構(gòu) 66
4.2.1  MapReduce的執(zhí)行過(guò)程 66
4.2.2  Mapper過(guò)程 71
4.2.3  Reducer過(guò)程 71
4.2.4  Shuffle過(guò)程 71
4.3  MapReduce接口類(lèi) 72
4.3.1  輸入的處理類(lèi) 72
4.3.2  輸出的處理類(lèi) 74
4.4  MapReduce編程模型實(shí)現(xiàn) 74
4.4.1  創(chuàng)建項(xiàng)目 74
4.4.2  編寫(xiě)MapReduce程序代碼 75
4.4.3  本地運(yùn)行測(cè)試 77
4.4.4  Jar打包 79
4.5  MapReduce典型案例-WordCount 79
4.5.1  WordCount任務(wù)目標(biāo) 79
4.5.2  基于MapReduce的WordCount設(shè)計(jì)思路 80
4.5.3  任務(wù)執(zhí)行 80
4.5.4  實(shí)例演示 81
4.6  分布式資源調(diào)度系統(tǒng)YARN的安裝 83
4.6.1  YARN的概念 83
4.6.2  YARN的運(yùn)行機(jī)制 84
4.6.3  YARN資源調(diào)度方式 84
4.6.4  YARN的安裝配置 85
4.7  MapReduce和YARN命令 88
4.7.1  Hadoop的shell腳本 88
4.7.2  集群上運(yùn)行介紹 90
4.7.3  實(shí)驗(yàn)過(guò)程 91
本章習(xí)題 94
第5章  Hadoop數(shù)據(jù)倉(cāng)庫(kù)Hive 97
5.1  Hive簡(jiǎn)介 97
5.1.1  Hive設(shè)計(jì)特點(diǎn) 97
5.1.2  Hive系統(tǒng)架構(gòu) 98
5.1.3  Hive數(shù)據(jù)模型 98
5.1.4  Hive安裝 99
5.2  Hive DDL 104
5.2.1  DDL基本格式 104
5.2.2  Hive數(shù)據(jù)類(lèi)型 105
5.2.3  使用Hive創(chuàng)建數(shù)據(jù)庫(kù) 106
5.3  Hive DML 113
5.3.1  數(shù)據(jù)操縱語(yǔ)言DML操作 113
5.3.2  類(lèi)型 113
5.3.3  向Hive插入數(shù)據(jù) 114
5.3.4  Hive的其他語(yǔ)句 116
5.4  基于Hive的UDF V1.0 118
5.4.1  UDF的使用介紹 118
5.4.2  實(shí)驗(yàn)操作 120
5.5  Hive數(shù)據(jù)清洗項(xiàng)目 122
5.5.1  數(shù)據(jù)清洗介紹 122
5.5.2  用戶(hù)關(guān)系模型介紹 124
5.5.3  挖掘用戶(hù)的基本問(wèn)題 124
5.5.4  Hive數(shù)據(jù)清洗項(xiàng)目使用 125
5.6  Hive統(tǒng)計(jì)UV項(xiàng)目 127
5.6.1  PV統(tǒng)計(jì)（頁(yè)面訪(fǎng)問(wèn)量） 127
5.6.2  UV統(tǒng)計(jì)（獨(dú)立訪(fǎng)客） 128
5.6.3  Hive統(tǒng)計(jì)UV項(xiàng)目的使用 128
本章習(xí)題 131
第6章  Hadoop數(shù)據(jù)庫(kù)HBase 133
6.1  HBase簡(jiǎn)介 133
6.2  HBase的shell應(yīng)用v2.0 134
6.2.1  HBase體系架構(gòu) 134
6.2.2  HBase邏輯視圖 137
6.2.3  HBase的使用操作 138
6.3  使用Hive操作HBase 140
6.3.1  Hive整合HBase原理 140
6.3.2  操作使用 141
6.4  HBase的JavaAPI應(yīng)用 142
6.4.1  創(chuàng)建連接 142
6.4.2  實(shí)驗(yàn)步驟 144
6.5  HBase學(xué)生選課案例 147
6.5.1  學(xué)生選課案例簡(jiǎn)介 147
6.5.2  學(xué)生選課案例講解與操作 149
6.6  HBase微博案例 155
6.6.1  微博案例簡(jiǎn)介 155
6.6.2  微博案例講解與操作 157
本章練習(xí) 164
第7章  Pig語(yǔ)言 166
7.1  Pig簡(jiǎn)介 166
7.1.1  認(rèn)識(shí)Pig 166
7.1.2  Pig和MapReduce的區(qū)別 167
7.1.3  Pig的用途 168
7.1.4  Pig和Hive 168
7.2  Pig的安裝與運(yùn)行 169
7.2.1  Pig包的下載 169
7.2.2  Pig的安裝 170
7.3  命令行交互工具Grunt 171
7.3.1  Grunt介紹 171
7.3.2  Grunt中輸入Pig Latin腳本 171
7.3.3  Grunt中使用HDFS命令 171
7.3.4  Grunt中控制Pig 172
7.3.5  實(shí)驗(yàn)案例 172
7.4  Pig數(shù)據(jù)模型 175
7.4.1  數(shù)據(jù)類(lèi)型 175
7.4.2  模式 177
7.4.3  數(shù)據(jù)模型的使用 178
7.5  Pig Latin基礎(chǔ)知識(shí) 179
7.5.1  Pig Latin介紹 179
7.5.2  輸入和輸出 180
7.5.3  Pig Latin的使用 181
7.6  Pig Latin關(guān)系操作 182
7.6.1  Foreach數(shù)據(jù)轉(zhuǎn)換 182
7.6.2  Filter過(guò)濾 182
7.6.3  Group分組 182
7.6.7  Order by排序 182
7.6.5  Distinct 183
7.6.6  Join 183
7.6.7  Limit 183
7.6.8  Sample 183
7.6.9  Parallel 183
7.6.10  運(yùn)行Pig程序示例 183
7.7  Pig Latin高級(jí)應(yīng)用 191
7.7.1  Group應(yīng)用 191
7.7.2  Cross應(yīng)用 192
7.7.3  Distinct應(yīng)用 192
7.7.4  Filter應(yīng)用 192
7.7.5  Foreach應(yīng)用 192
7.7.6  復(fù)雜關(guān)系應(yīng)用 192
7.7.7  在Pig中集成遺留代碼和MapReduce程序 194
7.7.8  非線(xiàn)性數(shù)據(jù)流 194
7.7.9  執(zhí)行過(guò)程控制 195
7.7.10  Pig Latin預(yù)處理器 195
7.7.11  運(yùn)行Pig程序示例 195
本章練習(xí) 202
第8章  Hadoop項(xiàng)目案例 204
8.1  QQ好友推薦算法 204
8.1.1  實(shí)現(xiàn)思路 204
8.1.2  代碼實(shí)現(xiàn) 204
8.2  PageRank算法 209
8.2.1  PageRank算法簡(jiǎn)介 209
8.2.2  PageRank原理介紹 210
8.2.3  PageRank簡(jiǎn)單計(jì)算 210
8.3  TF-IDF算法 213
8.3.1  TF-IDF簡(jiǎn)介 213
8.3.2  TF-IDF實(shí)現(xiàn) 214
8.3.3  TF-IDF應(yīng)用 214
8.3.4  權(quán)重 214
8.4  數(shù)據(jù)關(guān)聯(lián)案例 222
8.4.1  常用思路 223
8.4.2  編碼思路 223
8.4.3  實(shí)驗(yàn) 223
8.5  ETL案例 224
8.5.1  數(shù)據(jù)ETL 225
8.5.2  實(shí)驗(yàn) 225
8.6  PV、UV統(tǒng)計(jì)案例 228
8.6.1  針對(duì)某一類(lèi)網(wǎng)址的PV、UV 228
8.6.2  得到PV、UV的后續(xù)處理 229
8.6.3  實(shí)驗(yàn) 229
8.7  用戶(hù)流失和新增分析案例 231
8.8  Hadoop總結(jié) 234
8.8.1  打包作業(yè) 234
8.8.2  啟動(dòng)作業(yè) 235
8.8.3  提交命令封裝 236
本章習(xí)題 236
第9章  Mahout項(xiàng)目案例 239
9.1  Mahout環(huán)境配置 240
9.1.1  單機(jī)環(huán)境配置 240
9.1.2  基于Hadoop集群的Mahout環(huán)境配置 240
9.2  協(xié)同過(guò)濾推薦算法 243
9.2.1  Taste簡(jiǎn)介 243
9.2.2  基于用戶(hù)的協(xié)同過(guò)濾算法 244
9.2.3  基于項(xiàng)目的協(xié)同過(guò)濾算法 247
9.2.4  基于ALS的矩陣分解算法 248
9.2.5  基于SVD的推薦算法 249
9.3  聚類(lèi)算法 252
9.3.1  Canopy聚類(lèi) 252
9.3.2  K-Means聚類(lèi) 253
9.3.3  Fuzzy K-Means聚類(lèi)算法 253
9.3.4  Streaming K-Means聚類(lèi) 254
9.3.5  Spectral譜聚類(lèi)算法類(lèi) 255
9.4  分類(lèi)算法 255
9.4.1  Logistic回歸算法 256
9.4.2  樸素貝葉斯分類(lèi)器 258
9.4.3  隨機(jī)森林 258
9.4.4  隱馬爾科夫模型 259
本章習(xí)題 260
參考文獻(xiàn) 263
附錄 265
一．  本書(shū)中出現(xiàn)的專(zhuān)業(yè)術(shù)語(yǔ)縮寫(xiě)英漢對(duì)照表 265
二．  習(xí)題參考答案 267