大數(shù)據(jù)處理技術(shù)與項(xiàng)目實(shí)戰(zhàn)

第1章 大數(shù)據(jù)處理技術(shù)及應(yīng)用概述
1.1 大數(shù)據(jù)概念及特征
1.2 大數(shù)據(jù)處理技術(shù)
1.2.1 數(shù)據(jù)采集
1.2.2 數(shù)據(jù)預(yù)處理
1.2.3 數(shù)據(jù)存儲(chǔ)
1.2.4 數(shù)據(jù)計(jì)算
1.2.5 數(shù)據(jù)分析
1.2.6 數(shù)據(jù)解釋
1.3 Google大數(shù)據(jù)處理系統(tǒng)
1.3.1 GFS
1.3.2 MapReducee
1.3.3 BigTable
1.4 Hadoop大數(shù)據(jù)處理框架
1.4.1 Hadoop簡(jiǎn)介
1.4.2 Hadoop生態(tài)圈
1.5 大數(shù)據(jù)的行業(yè)應(yīng)用
第2章 Hadoop安裝與配置
2.1 虛擬機(jī)與Linux系統(tǒng)安裝
2.1.1 虛擬機(jī)安裝
2.1.2 Linux系統(tǒng)安裝
2.2 Hadoop完全分布式安裝與配置
2.2.1 SSH安裝與配置
2.2.2 JDK安裝與配置
2.2.3 Hadoop完全分布式安裝與配置
第3章 分布式文件系統(tǒng)HDFS
3.1 HDFS概述
3.1.1 HDFS架構(gòu)
3.1.2 HDFS的優(yōu)缺點(diǎn)
3.2 HDFS兩種操作方式
3.2.1 HDFS Shell命令
3.2.2 HDFS JAVA AP
3.2.3 HDFS JAVA API實(shí)例
3.3 項(xiàng)目實(shí)戰(zhàn)：分布式云盤(pán)系統(tǒng)
3.3.1 開(kāi)發(fā)環(huán)境安裝與配置
3.3.2 項(xiàng)目設(shè)計(jì)
3.3.3 項(xiàng)目實(shí)現(xiàn)
3.3.4 運(yùn)行測(cè)試
第4章 大數(shù)據(jù)分布式并行處理框架MapReduce
4.1 MapReduce概述
4.1.1 MapReduce計(jì)算框架
4.1.2 MapReduce工作流程
d.1.3 Spark、Flink和Hadoop比較
4.2 MapReduce編程基礎(chǔ)
4.2.1 Mapper類(lèi)和Reducer類(lèi)
4.2.2 MapReduce作業(yè)配置
4.2.3 MapReduce數(shù)據(jù)類(lèi)型
4.3 MapReduce編程實(shí)例
4.3.1 MapReduce項(xiàng)目創(chuàng)建與運(yùn)行
4.3.2 Map編程實(shí)例
4.3.3 單個(gè)MapReduce編程實(shí)例
4.3.4 多個(gè)Mapreduce過(guò)程編程實(shí)例
4.4 項(xiàng)目實(shí)戰(zhàn)：電信手機(jī)流量數(shù)據(jù)分析系統(tǒng)
4.4.1 項(xiàng)目設(shè)計(jì)
4.4.2 項(xiàng)目實(shí)現(xiàn)
4.4.3 項(xiàng)目運(yùn)行測(cè)試
第5章 分布式數(shù)據(jù)倉(cāng)庫(kù)Hive
5.1 Hive概述
5.1.1 Hive簡(jiǎn)介
5.1.2 Hive的體系架構(gòu)
5.1.3 Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比分析
5.1.4 Hive的優(yōu)缺點(diǎn)
5.2 Hive安裝與配置
5.2.1 Hive安裝
5.2.2 安裝配置Hive+mysql
5.3 Hive Shell操作
5.3.1 Hive非交互模式常用Shell命令
5.3.2 Hive交互模式下的命令
5.3.3 Hive的常用HiveQL操作
5.4 Hive Java API
5.4.1 Hive Java API基本操作
5.4.2 Hive Java API實(shí)例
5.5 項(xiàng)目實(shí)戰(zhàn)：糧食生產(chǎn)離線大數(shù)據(jù)分析系統(tǒng)
5.5.1 系統(tǒng)設(shè)計(jì)
5.5.2 項(xiàng)目創(chuàng)建
5.5.3 系統(tǒng)實(shí)現(xiàn)關(guān)鍵技術(shù)
5.5.4 系統(tǒng)功能實(shí)現(xiàn)
5.5.5 項(xiàng)目運(yùn)行測(cè)試
第6章 分布式數(shù)據(jù)庫(kù)HBase
6.1 HBase概述
6.1.1 HBase數(shù)據(jù)存儲(chǔ)模式
6.1.2 HBase的邏輯架構(gòu)
6.1.3 HBase數(shù)據(jù)模型簡(jiǎn)介
6.1.4 HBase設(shè)計(jì)
6.1.5 HBase的優(yōu)缺點(diǎn)
6.2 HBase安裝與配置
6.2.1 Zookeeper安裝與配置
6.2.2 Hbaser安裝與配置
6.3 HBase Shell命令
6.3.1 查詢(xún)操作
6.3.2 DDL操作
6.3.3 DML操作
6.3.4 HBase Shell命令綜合實(shí)例
6.4 HBase.Java API
6.4.1 HBase的常用Java API
6.4.2 HBase Java API實(shí)例
6.5 項(xiàng)目實(shí)戰(zhàn)：用戶(hù)通話記錄高效查詢(xún)系統(tǒng)
6.5.1 項(xiàng)目設(shè)計(jì)
6.5.2 項(xiàng)目實(shí)現(xiàn)
6.5.3 項(xiàng)目運(yùn)行測(cè)試
第7章 海量日志采集Flume
7.1 Flume概述
7.1.1 Flume架構(gòu)
7.1.2 Flume工作原理
7.1.3 Flume特點(diǎn)
7.2 .Flume安裝與配置
7.3 F1ume基礎(chǔ)應(yīng)用
7.3.1 案例一：Avm source
7.3.2 案例二：Neteat source
7.3.3 案例三：實(shí)時(shí)監(jiān)控單個(gè)追加文件
7.3.4 案例四：監(jiān)控本地文件夾新增文件
7.3.5 案例五：實(shí)時(shí)監(jiān)控文件夾下文件追加
7.4 Flume自定義組件高階開(kāi)發(fā)
7.4.1 自定義攔截器
7.4.2 自定義Source
7.4.3 自定義Sink
7.5 項(xiàng)目實(shí)戰(zhàn)：電商平臺(tái)用戶(hù)行為日志分析系統(tǒng)
7.5.1 系統(tǒng)設(shè)計(jì)
7.5.2 項(xiàng)目實(shí)現(xiàn)
7.5.3 項(xiàng)目運(yùn)行測(cè)試
第8章 基于Mahout.的個(gè)性化推薦系統(tǒng)
8.1 推薦系統(tǒng)概述
8.1.1 推薦系統(tǒng)工作流程
8.1.2 推薦機(jī)制
8.2 Mahout概述
8.2.1 Mahout的核心概念
8.2.2 Mahout應(yīng)用場(chǎng)景
8.3 Mahout安裝與配置
8.3.1 Mahout下載與配置
8.3.2 Mahout測(cè)試
8.4 Eclipse中創(chuàng)建Maven工程
8.4.1 創(chuàng)建項(xiàng)目
8.4 _2 項(xiàng)目配置
8.5 項(xiàng)目實(shí)戰(zhàn)：基于Mahout個(gè)性化新聞推薦系統(tǒng)
8.5.1 系統(tǒng)設(shè)計(jì)
8.5.2 項(xiàng)目創(chuàng)建
8.5.3 項(xiàng)目實(shí)現(xiàn)
8.5.4 項(xiàng)目運(yùn)行測(cè)試