Hadoop 3.x大數(shù)據(jù)開發(fā)實戰(zhàn)（視頻教學(xué)版）

第1章  VMware中安裝CentOS 1
1.1  下載CentOS 7鏡像文件 1
1.2  新建虛擬機 4
1.3  安裝操作系統(tǒng) 6
1.4  動手練習(xí) 11
第2章  CentOS 7集群環(huán)境配置 12
2.1  系統(tǒng)環(huán)境配置 12
2.1.1  新建用戶 12
2.1.2  修改用戶權(quán)限 13
2.1.3  關(guān)閉防火墻 13
2.1.4  設(shè)置固定IP 13
2.1.5  修改主機名 16
2.1.6  新建資源目錄 17
2.2  安裝JDK 17
2.3  克隆虛擬機 18
2.4  配置主機IP映射 20
2.5  動手練習(xí) 21
第3章  Hadoop 22
3.1  Hadoop簡介 22
3.1.1  Hadoop生態(tài)系統(tǒng)架構(gòu) 22
3.1.2  Hadoop不同版本架構(gòu)對比 24
3.2  YARN基本架構(gòu)及組件 25
3.3  YARN工作流程 27
3.4  配置集群各節(jié)點SSH無密鑰登錄 28
3.4.1  無密鑰登錄原理 28
3.4.2  無密鑰登錄操作步驟 29
3.5  搭建Hadoop 3.x分布式集群 31
3.6  動手練習(xí) 37
第4章  HDFS 38
4.1  HDFS簡介 38
4.1.1  設(shè)計目標(biāo) 38
4.1.2  總體架構(gòu) 39
4.1.3  主要組件 40
4.1.4  文件讀寫 42
4.2  HDFS命令行操作 43
4.3  HDFS Web界面操作 46
4.4  HDFS Java API操作 48
4.4.1  讀取數(shù)據(jù) 48
4.4.2  創(chuàng)建目錄 50
4.4.3  創(chuàng)建文件 50
4.4.4  刪除文件 52
4.4.5  遍歷文件和目錄 52
4.4.6  獲取文件或目錄的元數(shù)據(jù) 53
4.4.7  上傳本地文件 54
4.4.8  下載文件到本地 55
4.5  動手練習(xí) 55
第5章  MapReduce 56
5.1  MapReduce簡介 56
5.1.1  設(shè)計思想 56
5.1.2  任務(wù)流程 58
5.1.3  工作原理 59
5.2  MapReduce程序編寫步驟 61
5.3  案例分析：單詞計數(shù) 63
5.4  案例分析：數(shù)據(jù)去重 69
5.5  案例分析：求平均分 72
5.6  案例分析：二次排序 75
5.7  使用MRUnit測試MapReduce程序 82
5.8  動手練習(xí) 84
第6章  ZooKeeper 85
6.1  ZooKeeper簡介 85
6.1.1  應(yīng)用場景 85
6.1.2  架構(gòu)原理 86
6.1.3  數(shù)據(jù)模型 86
6.1.4  節(jié)點類型 87
6.1.5  Watcher機制 88
6.1.6  分布式鎖 89
6.2  ZooKeeper安裝配置 90
6.2.1  單機模式 90
6.2.2  偽分布模式 91
6.2.3  集群模式 92
6.3  ZooKeeper命令行操作 95
6.4  ZooKeeper Java API操作 97
6.4.1  創(chuàng)建Java工程 98
6.4.2  創(chuàng)建節(jié)點 98
6.4.3  修改數(shù)據(jù) 100
6.4.4  獲取數(shù)據(jù) 101
6.4.5  刪除節(jié)點 105
6.5  案例分析：監(jiān)聽服務(wù)器動態(tài)上下線 106
6.6  動手練習(xí) 110
第7章  HDFS與YARN HA 111
7.1  HDFS HA搭建 111
7.1.1  架構(gòu)原理 111
7.1.2  搭建步驟 112
7.1.3  結(jié)合ZooKeeper進行HDFS自動
故障轉(zhuǎn)移 118
7.2  YARN HA搭建 121
7.2.1  架構(gòu)原理 122
7.2.2  搭建步驟 122
7.3  動手練習(xí) 126
第8章  HBase 127
8.1  什么是HBase 127
8.2  HBase基本結(jié)構(gòu) 128
8.3  HBase數(shù)據(jù)模型 129
8.4  HBase集群架構(gòu) 130
8.5  HBase安裝配置 132
8.5.1  單機模式 132
8.5.2  偽分布模式 134
8.5.3  集群模式 135
8.6  HBase Shell命令操作 139
8.7  HBase Java API操作 142
8.7.1  創(chuàng)建Java工程 142
8.7.2  創(chuàng)建表 143
8.7.3  添加數(shù)據(jù) 145
8.7.4  查詢數(shù)據(jù) 147
8.7.5  刪除數(shù)據(jù) 148
8.8  HBase過濾器 149
8.9  案例分析：HBase MapReduce數(shù)據(jù)
轉(zhuǎn)移 153
8.9.1  HBase不同表間數(shù)據(jù)轉(zhuǎn)移 153
8.9.2  HDFS數(shù)據(jù)轉(zhuǎn)移至HBase 158
8.10  案例分析：HBase數(shù)據(jù)備份與
恢復(fù) 161
8.11  動手練習(xí) 162
第9章  Hive 164
9.1  什么是Hive 164
9.1.1  數(shù)據(jù)單元 164
9.1.2  數(shù)據(jù)類型 165
9.2  Hive架構(gòu)體系 167
9.3  Hive三種運行模式 168
9.4  Hive安裝配置 169
9.4.1  內(nèi)嵌模式 170
9.4.2  本地模式 172
9.4.3  遠程模式 175
9.5  Hive常見屬性配置 176
9.6  Beeline CLI的使用 177
9.7  Hive數(shù)據(jù)庫操作 181
9.8  Hive表操作 184
9.8.1  內(nèi)部表 185
9.8.2  外部表 188
9.8.3  分區(qū)表 191
9.8.4  分桶表 194
9.9  Hive查詢 198
9.9.1  SELECT子句查詢 198
9.9.2  JOIN連接查詢 204
9.10  其他Hive命令 206
9.11  Hive元數(shù)據(jù)表結(jié)構(gòu)分析 208
9.12  Hive自定義函數(shù) 210
9.13  Hive JDBC操作 212
9.14  案例分析：Hive與HBase整合 214
9.15  案例分析：Hive分析搜狗用戶搜索
日志 218
9.16  動手練習(xí) 222
第10章  Sqoop 224
10.1  什么是Sqoop 224
10.1.1  Sqoop基本架構(gòu) 224
10.1.2  Sqoop開發(fā)流程 225
10.2  使用Sqoop 225
10.3  數(shù)據(jù)導(dǎo)入工具 226
10.4  數(shù)據(jù)導(dǎo)出工具 231
10.5  Sqoop安裝與配置 233
10.6  案例分析：將MySQL表數(shù)據(jù)導(dǎo)入
到HDFS中 234
10.7  案例分析：將HDFS中的數(shù)據(jù)導(dǎo)出
到MySQL中 236
10.8  案例分析：將MySQL表數(shù)據(jù)導(dǎo)入
到HBase中 237
10.9  動手練習(xí) 238
第11章  Kafka 239
11.1  什么是Kafka 239
11.2  Kafka架構(gòu) 240
11.3  主題與分區(qū) 241
11.4  分區(qū)副本 242
11.5  消費者組 244
11.6  數(shù)據(jù)存儲機制 245
11.7  Kafka集群環(huán)境搭建 247
11.8  命令行操作 249
11.8.1  創(chuàng)建主題 249
11.8.2  查詢主題 250
11.8.3  創(chuàng)建生產(chǎn)者 250
11.8.4  創(chuàng)建消費者 251
11.9  Java API操作 251
11.9.1  創(chuàng)建Java工程 252
11.9.2  創(chuàng)建生產(chǎn)者 252
11.9.3  創(chuàng)建消費者 254
11.9.4  運行程序 255
11.10  案例分析：Kafka生產(chǎn)者攔截器 257
11.11  動手練習(xí) 262
第12章  Flume 263
12.1  什么是Flume 263
12.2  Flume的架構(gòu)原理 263
12.2.1  單節(jié)點架構(gòu) 263
12.2.2  組件介紹 264
12.2.3  多節(jié)點架構(gòu) 265
12.3  安裝與簡單使用 267
12.4  案例分析：日志監(jiān)控（一） 269
12.5  案例分析：日志監(jiān)控（二） 272
12.6  攔截器 273
12.6.1  內(nèi)置攔截器 274
12.6.2  自定義攔截器 277
12.7  選擇器 280
12.8  案例分析：攔截器和選擇器的
應(yīng)用 281
12.9  案例分析：Flume與Kafka
整合 285
12.10  動手練習(xí) 287
第13章  Storm 288
13.1  什么是Storm 288
13.2  Storm Topology 288
13.3  Storm集群架構(gòu) 289
13.4  Storm流分組 291
13.5  Storm集群環(huán)境搭建 292
13.6  案例分析：單詞計數(shù) 296
13.6.1  設(shè)計思路 296
13.6.2  代碼編寫 297
13.6.3  程序運行 302
13.7  案例分析：Storm與Kafka整合 305
13.7.1  設(shè)計思路 305
13.7.2  代碼編寫 306
13.7.3  程序運行 309
13.8  動手練習(xí) 310
第14章  Elasticsearch 311
14.1  什么是Elasticsearch 311
14.2  基本概念 311
14.2.1  索引、類型和文檔 311
14.2.2  分片和副本 312
14.2.3  路由 313
14.3  集群架構(gòu) 313
14.4  集群環(huán)境搭建 315
14.5  安裝Kibana 321
14.6  REST API 324
14.6.1  集群狀態(tài)API 325
14.6.2  索引API 325
14.6.3  文檔API 327
14.6.4  搜索API 330
14.6.5  Query DSL 332
14.7  Head插件安裝 336
14.8  Java API操作：員工信息 340
14.9  動手練習(xí) 344
第15章  Scala 345
15.1  什么是Scala 345
15.2  安裝Scala 345
15.2.1  Windows中安裝Scala 346
15.2.2  CentOS 7中安裝Scala 347
15.3  Scala基礎(chǔ) 347
15.3.1  變量聲明 348
15.3.2  數(shù)據(jù)類型 349
15.3.3  表達式 350
15.3.4  循環(huán) 351
15.3.5  方法與函數(shù) 353
15.4  集合 356
15.4.1  數(shù)組 356
15.4.2  List 358
15.4.3  Map映射 359
15.4.4  元組 360
15.4.5  Set 361
15.5  類和對象 362
15.5.1  類的定義 362
15.5.2  單例對象 363
15.5.3  伴生對象 363
15.5.4  get和set方法 364
15.5.5  構(gòu)造器 366
15.6  抽象類和特質(zhì) 368
15.6.1  抽象類 368
15.6.2  特質(zhì) 369
15.7  使用Eclipse創(chuàng)建Scala項目 371
15.7.1  安裝Scala for Eclipse IDE 371
15.7.2  創(chuàng)建Scala項目 372
15.8  使用IntelliJ IDEA創(chuàng)建Scala項目 372
15.8.1  IDEA中安裝Scala插件 372
15.8.2  創(chuàng)建Scala項目 374
15.9  動手練習(xí) 375
第16章  Spark 376
16.1  Spark概述 376
16.2  Spark主要組件 377
16.3  Spark運行時架構(gòu) 378
16.3.1  Spark Standalone模式 379
16.3.2  Spark On YARN模式 380
16.4  Spark集群環(huán)境搭建 382
16.4.1  Spark Standalone模式 382
16.4.2  Spark On YARN模式 384
16.5  Spark HA搭建 385
16.6  Spark應(yīng)用程序的提交 389
16.7  Spark Shell的使用 391
16.8  Spark RDD 393
16.8.1  創(chuàng)建RDD 393
16.8.2  RDD算子 394
16.9  案例分析：使用Spark RDD實現(xiàn)
單詞計數(shù) 398
16.10  Spark SQL 403
16.10.1  DataFrame和Dataset 404
16.10.2  Spark SQL基本使用 404
16.11  案例分析：使用Spark SQL實現(xiàn)
單詞計數(shù) 406
16.12  案例分析：Spark SQL與
Hive整合 408
16.13  案例分析：Spark SQL讀寫
MySQL 410
16.14  動手練習(xí) 414