大數(shù)據(jù)基礎編程、實驗和案例教程（第2版）

第1章大數(shù)據(jù)技術(shù)概述/1
1.1大數(shù)據(jù)時代/1
1.2大數(shù)據(jù)關(guān)鍵技術(shù)/2
1.3大數(shù)據(jù)軟件/3
1.3.1Hadoop/4
1.3.2Spark/5
1.3.3NoSQL數(shù)據(jù)庫/5
1.4內(nèi)容安排/6
1.5在線資源/8
1.6本章小結(jié)/10
第2章Linux系統(tǒng)的安裝和使用/11
2.1Linux系統(tǒng)簡介/11
2.2Linux系統(tǒng)安裝/11
2.2.1下載安裝文件/12
2.2.2Linux系統(tǒng)的安裝方式/12
2.2.3安裝Linux虛擬機/13
2.2.4生成Linux虛擬機鏡像文件/35
2.3Linux系統(tǒng)及相關(guān)軟件的基本使用方法/36
2.3.1Shell/36
2.3.2root用戶/37
2.3.3創(chuàng)建普通用戶/37
2.3.4sudo命令/38
2.3.5常用的Linux系統(tǒng)命令/38
2.3.6文件解壓縮/39
2.3.7常用的目錄/39
2.3.8目錄的權(quán)限/40
2.3.9更新APT/40
2.3.10切換中英文輸入法/42
2.3.11vim編輯器的使用方法/42
2.3.12在Windows系統(tǒng)中使用SSH方式登錄Linux系統(tǒng)/43
2.3.13在Linux系統(tǒng)中安裝Eclipse/46
2.3.14其他使用技巧/47
2.4關(guān)于本書內(nèi)容的一些約定/47
2.5本章小結(jié)/48
第3章Hadoop的安裝和使用/49
3.1Hadoop簡介/49
3.2安裝Hadoop前的準備工作/49
3.2.1創(chuàng)建hadoop用戶/50
3.2.2更新APT/50
3.2.3安裝SSH/50
3.2.4安裝Java環(huán)境/51
3.3安裝Hadoop/52
3.3.1下載安裝文件/53
3.3.2單機模式配置/53
3.3.3偽分布式模式配置/54
3.3.4分布式模式配置/61
3.4本章小結(jié)/70
第4章HDFS操作方法和基礎編程/71
4.1HDFS操作常用的Shell命令/71
4.1.1查看命令的用法/71
4.1.2HDFS操作/73
4.2利用HDFS的Web管理界面/75
4.3HDFS編程實踐/75
4.3.1在Eclipse中創(chuàng)建項目/75
4.3.2為項目添加需要用到的JAR包/76
4.3.3編寫Java應用程序/79
4.3.4編譯運行程序/82
4.3.5應用程序的部署/83
4.4本章小結(jié)/86
第5章HBase的安裝和基礎編程/88
5.1安裝HBase/88
5.1.1下載安裝文件/88
5.1.2配置環(huán)境變量/89
5.1.3添加用戶權(quán)限/89
5.1.4查看HBase版本信息/89
5.2HBase的配置/90
5.2.1單機模式配置/90
5.2.2偽分布式模式配置/92
5.3HBase常用的Shell命令/94
5.3.1在HBase中創(chuàng)建表/94
5.3.2添加數(shù)據(jù)/94
5.3.3查看數(shù)據(jù)/95
5.3.4刪除數(shù)據(jù)/96
5.3.5刪除表/97
5.3.6查詢歷史數(shù)據(jù)/97
5.3.7退出HBase數(shù)據(jù)庫/97
5.4HBase編程實踐/98
5.4.1在Eclipse中創(chuàng)建項目/98
5.4.2為項目添加需要用到的JAR包/100
5.4.3編寫Java應用程序/102
5.4.4編譯運行程序/105
5.5本章小結(jié)/106
第6章典型NoSQL數(shù)據(jù)庫的安裝和使用/108
6.1Redis的安裝和使用/108
6.1.1Redis簡介/108
6.1.2安裝Redis/108
6.1.3Redis實例演示/110
6.2MongoDB的安裝和使用/111
6.2.1MongDB簡介/111
6.2.2安裝MongoDB/112
6.2.3使用Shell命令操作MongoDB/113
6.2.4Java API編程實例/118
6.3本章小結(jié)/122
第7章MapReduce基礎編程/123
7.1詞頻統(tǒng)計任務要求/123
7.2MapReduce程序編寫方法/124
7.2.1編寫Map處理邏輯/124
7.2.2編寫Reduce處理邏輯/124
7.2.3編寫main方法/125
7.2.4完整的詞頻統(tǒng)計程序/126
7.3編譯打包程序/127
7.3.1使用命令行編譯打包詞頻統(tǒng)計程序/128
7.3.2使用Eclipse編譯打包詞頻統(tǒng)計程序/128
7.4運行程序/136
7.5本章小結(jié)/139
第8章數(shù)據(jù)倉庫Hive的安裝和使用/140
8.1Hive的安裝/140
8.1.1下載安裝文件/140
8.1.2配置環(huán)境變量/141
8.1.3修改配置文件/141
8.1.4安裝并配置MySQL/142
8.2Hive的數(shù)據(jù)類型/144
8.3Hive基本操作/145
8.3.1創(chuàng)建數(shù)據(jù)庫、表、視圖/145
8.3.2刪除數(shù)據(jù)庫、表、視圖/146
8.3.3修改數(shù)據(jù)庫、表、視圖/147
8.3.4查看數(shù)據(jù)庫、表、視圖/148
8.3.5描述數(shù)據(jù)庫、表、視圖/148
8.3.6向表中裝載數(shù)據(jù)/149
8.3.7查詢表中數(shù)據(jù)/149
8.3.8向表中插入數(shù)據(jù)或從表中導出數(shù)據(jù)/149
8.4Hive應用實例: WordCount/150
8.5Hive編程的優(yōu)勢/151
8.6本章小結(jié)/151
第9章Spark的安裝和基礎編程/152
9.1基礎環(huán)境/152
9.2安裝Spark/152
9.2.1下載安裝文件/152
9.2.2配置相關(guān)文件/153
9.3使用 Spark Shell編寫代碼/154
9.3.1啟動Spark Shell/154
9.3.2讀取文件/155
9.3.3編寫詞頻統(tǒng)計程序/156
9.4編寫Spark獨立應用程序/157
9.4.1用Scala語言編寫Spark獨立應用程序/157
9.4.2用Java語言編寫Spark獨立應用程序/161
9.5本章小結(jié)/164
第10章Flink的安裝和基礎編程/165
10.1安裝Flink/165
10.2編程實現(xiàn)WordCount程序/167
10.2.1安裝Maven/167
10.2.2編寫代碼/167
10.2.3使用Maven打包Java程序/171
10.2.4通過flink run命令運行程序/172
10.3本章小結(jié)/172
第11章典型可視化工具的使用方法/173
11.1D3可視化庫的使用方法/173
11.1.1D3可視化庫的安裝/173
11.1.2基本操作/174
11.2使用ECharts制作圖表/182
11.2.1ECharts簡介/182
11.2.2ECharts圖表制作方法/182
11.3本章小結(jié)/185
第12章數(shù)據(jù)采集工具的安裝和使用/186
12.1Kafka/186
12.1.1Kafka相關(guān)概念/186
12.1.2安裝Kafka/186
12.1.3一個實例/187
12.2實例: 編寫Spark程序使用Kafka數(shù)據(jù)源/188
12.2.1Kafka準備工作/188
12.2.2Spark準備工作/190
12.2.3編寫Spark程序使用Kafka數(shù)據(jù)源/191
12.3本章小結(jié)/197
第13章大數(shù)據(jù)課程綜合實驗案例/198
13.1案例簡介/198
13.1.1案例目的/198
13.1.2適用對象/198
13.1.3時間安排/198
13.1.4預備知識/198
13.1.5硬件要求/199
13.1.6軟件工具/199
13.1.7數(shù)據(jù)集/199
13.1.8案例任務/199
13.2實驗環(huán)境搭建/200
13.3實驗步驟概述/200
13.4本地數(shù)據(jù)集上傳到數(shù)據(jù)倉庫Hive/201
13.4.1實驗數(shù)據(jù)集的下載/201
13.4.2數(shù)據(jù)集的預處理/203
13.4.3導入數(shù)據(jù)庫/206
13.5Hive數(shù)據(jù)分析/209
13.5.1簡單查詢分析/209
13.5.2查詢條數(shù)統(tǒng)計分析/211
13.5.3關(guān)鍵字條件查詢分析/213
13.5.4根據(jù)用戶行為分析/214
13.5.5用戶實時查詢分析/215
13.6Hive、MySQL、HBase數(shù)據(jù)互導/216
13.6.1Hive預操作/216
13.6.2使用Java API將數(shù)據(jù)從Hive導入MySQL/217
13.6.3使用HBase Java API把數(shù)據(jù)從本地導入HBase中/222
13.7使用R進行數(shù)據(jù)可視化分析/229
13.7.1安裝R/229
13.7.2安裝依賴庫/230
13.7.3可視化分析/232
13.8本章小結(jié)/236
第14章實驗/237
14.1實驗一： 熟悉常用的Linux操作和Hadoop操作/237
14.1.1實驗目的/237
14.1.2實驗平臺/237
14.1.3實驗步驟/237
14.1.4實驗報告/239
14.2實驗二: 熟悉常用的HDFS操作/239
14.2.1實驗目的/239
14.2.2實驗平臺/239
14.2.3實驗步驟/240
14.2.4實驗報告/240
14.3實驗三: 熟悉常用的HBase操作/241
14.3.1實驗目的/241
14.3.2實驗平臺/241
14.3.3實驗步驟/241
14.3.4實驗報告/242
14.4實驗四: NoSQL和關(guān)系數(shù)據(jù)庫的操作比較/243
14.4.1實驗目的/243
14.4.2實驗平臺/243
14.4.3實驗步驟/243
14.4.4實驗報告/246
14.5實驗五: MapReduce初級編程實踐/247
14.5.1實驗目的/247
14.5.2實驗平臺/247
14.5.3實驗步驟/247
14.5.4實驗報告/249
14.6實驗六: 熟悉Hive的基本操作/250
14.6.1實驗目的/250
14.6.2實驗平臺/250
14.6.3數(shù)據(jù)集/250
14.6.4實驗步驟/250
14.6.5實驗報告/251
14.7實驗七: Spark初級編程實踐/252
14.7.1實驗目的/252
14.7.2實驗平臺/252
14.7.3實驗步驟/252
14.7.4實驗報告/254
14.8實驗八: Flink初級編程實踐/254
14.8.1實驗目的/254
14.8.2實驗平臺/254
14.8.3實驗步驟/254
14.8.4實驗報告/255
附錄A實驗參考答案/256
A.1“實驗一: 熟悉常用的Linux操作和Hadoop操作”實驗步驟/256
A.2“實驗二: 熟悉常用的HDFS操作”實驗步驟/261
A.3“實驗三: 熟悉常用的HBase操作”實驗步驟/280
A.4“實驗四: NoSQL和關(guān)系數(shù)據(jù)庫的操作比較”實驗步驟/289
A.5“實驗五: MapReduce初級編程實踐”實驗步驟/306
A.6“實驗六: 熟悉Hive的基本操作”實驗步驟/315
A.7“實驗七: Spark初級編程實踐”實驗步驟/319
A.8“實驗八: Flink初級編程實踐”實驗步驟/325
附錄BLinux系統(tǒng)中的MySQL安裝及常用操作/343
B.1安裝MySQL/343
B.2MySQL常用操作/346
參考文獻/350