典型Hadoop云計(jì)算

目 錄
第1章 云計(jì)算背景與Hadoop
1.1 云計(jì)算概述
1.1.1 云計(jì)算的定義
1.1.2 云計(jì)算的特點(diǎn)
1.1.3 云計(jì)算的發(fā)展史
1.1.4 云計(jì)算的發(fā)展趨勢(shì)
1.1.5 云計(jì)算的基本特征
1.2 云計(jì)算的優(yōu)缺點(diǎn)
1.3 云計(jì)算存在的問題
1.4 Hadoop使用
1.4.1 國外Hadoop使用
1.4.2 國內(nèi)Hadoop使用
1.5 Hadoop概述
1.5.1 Hadoop的起源及簡(jiǎn)介
1.5.2 Hadoop的歷史
1.5.3 Hadoop的功能與作用
1.5.4 Hadoop的優(yōu)勢(shì)
1.5.5 Hadoop的現(xiàn)狀與趨勢(shì)
1.6 Hadoop的總體結(jié)構(gòu)與模塊簡(jiǎn)介
1.7 Hadoop的數(shù)據(jù)管理
1.7.1 HDFS的數(shù)據(jù)管理
1.7.2 HBase的數(shù)據(jù)管理
1.7.3 Hive的數(shù)據(jù)管理
第2章 Hadoop的安裝與配置
2.1 在Linux上安裝Hadoop
2.1.1 安裝單節(jié)點(diǎn)Hadoop
2.1.2 在Linux系統(tǒng)上安裝多
節(jié)點(diǎn)Hadoop
2.2 Windows安裝Hadoop
2.2.1 單機(jī)模式下安裝Hadoop
2.2.2 分布模式下安裝Hadoop
2.3 Hadoop的組件
2.3.1 基本文件命令
2.3.2 剖析MapReduce
2.4 Hadoop的InputFormat與
OutputFormat
2.4.1 InputFormat
2.4.2 OutputFormat
2.5 Hadoop的常用命令
2.5.1 常規(guī)選項(xiàng)
2.5.2 HDFS Shell命令
2.5.3 用戶命令
2.5.4 管理命令
2.6 Hadoop的I/O操作
2.6.1 I/O操作數(shù)據(jù)檢查
2.6.2 壓縮數(shù)據(jù)
2.6.3 數(shù)據(jù)I/O中的序列化操作
2.6.4 MapReduce文件類
2.7 Hadoop的權(quán)限管理
2.7.1 概述
2.7.2 用戶分組管理
2.7.3 作業(yè)管理
2.7.4 提交作業(yè)
第3章 Hadoop云計(jì)算的MapReduce詳解
3.1 總體結(jié)構(gòu)
3.2 MapReduce的工作原理
3.3 MapReduce的基礎(chǔ)模板
3.4 一個(gè)氣象數(shù)據(jù)集
3.4.1 數(shù)據(jù)格式
3.4.2 使用UNIX工具進(jìn)行數(shù)據(jù)
分析
3.4.3 使用Hadoop進(jìn)行數(shù)據(jù)
分析
3.4.4 新的Java MapReduce API
3.4.5 Combiner
3.4.6 運(yùn)行分布式MapReduce
作業(yè)
3.5 MapReduce的應(yīng)用實(shí)例
3.5.1 數(shù)據(jù)去重
3.5.2 排序
3.5.3 二次排序
3.5.4 單表關(guān)聯(lián)
3.5.5 多表關(guān)聯(lián)
3.6 復(fù)合鍵值對(duì)的使用
3.6.1 合并鍵值
3.6.2 用復(fù)合鍵排序
3.7 定制數(shù)據(jù)類型及格式
3.7.1 定制數(shù)據(jù)類型
3.7.2 定義數(shù)據(jù)輸入格式與
RecordReader
3.7.3 定制數(shù)據(jù)輸出格式與
RecordWriter
3.7.4 定制Partitioner
3.7.5 定制Combiner
3.8 shuffle與排序
3.8.1 map端
3.8.2 reduce端
3.8.3 shuffle過程
3.9 組合式MapReduce作業(yè)
3.9.1 迭代MapReduce計(jì)算任務(wù)
3.9.2 順序組合式MapReduce
作業(yè)的執(zhí)行
3.9.3 前、后處理的鏈接
3.9.4 復(fù)雜依賴關(guān)系的組合式
3.10 使用DataJoin包實(shí)現(xiàn)Join
3.11 參數(shù)/數(shù)據(jù)文件的傳遞與使用
3.11.1 傳遞全局作業(yè)參數(shù)
3.11.2 查詢?nèi)諱apReduce
作業(yè)屬性
3.11.3 全局?jǐn)?shù)據(jù)文件的傳遞
第4章 Hadoop云計(jì)算的ZooKeeper詳解
4.1 ZooKeeper的基本概念
4.1.1 ZooKeeper的角色
4.1.2 設(shè)計(jì)目的
4.1.3 工作原理
4.1.4 工作流程
4.1.5 數(shù)據(jù)模型
4.2 ZooKeeper的安裝
4.2.1 軟件及環(huán)境要求
4.2.2 單機(jī)模式
4.2.3 集群模式
4.2.4 集群偽分布
4.2.5 啟動(dòng)并測(cè)試ZooKeeper
4.3 ZooKeeper的配置
4.3.1 Client和ZK集群的連接及
session的建立過程
4.3.2 關(guān)于ACL
4.3.3 關(guān)于Watcher
4.3.4 關(guān)于Log文件和snapshot
4.4 ZooKeeper的使用
4.4.1 ZooKeeper的簡(jiǎn)單操作
4.4.2 ZooKeeper的四字命令
4.4.3 ZooKeeper的命令行工具
4.4.4 常用接口列表
4.4.5 基本操作
4.4.6 ZooKeeper API的使用
4.5 ZooKeeper的特性
4.5.1 ZooKeeper的會(huì)話及狀態(tài)
4.5.2 讀寫性能測(cè)試
4.5.3 可靠性測(cè)試
4.6 ZooKeeper的典型應(yīng)用
4.6.1 統(tǒng)一命名服務(wù)（Name
Service）
4.6.2 配置管理（Configuration
Management）
4.6.3 集群管理（Group
Membership）
4.6.4 分布式鎖
4.6.5 共享鎖（Locks）
4.6.6 隊(duì)列管理
4.7 ZooKeeper實(shí)例詳解
4.8 進(jìn)程調(diào)度系統(tǒng)
4.8.1 設(shè)計(jì)方案
4.8.2 設(shè)計(jì)實(shí)現(xiàn)
第5章 Hadoop云計(jì)算的Mahout詳解
5.1 Mahout概述
5.2 Mahout的安裝與配置
5.3 Mahout API簡(jiǎn)介5.4 Mahout的相關(guān)算法
5.4.1 分類算法
5.4.2 聚類算法
5.4.3 Slope one算法
5.5 應(yīng)用Mahout建立一個(gè)推薦引擎
5.5.1 推薦引擎概述
5.5.2 推薦引擎的實(shí)現(xiàn)代碼
5.6 運(yùn)行Naive Bayes分類器
5.6.1 生成分類結(jié)果的前提準(zhǔn)備
5.6.2 實(shí)現(xiàn)生成分類結(jié)果代碼
5.7 基于Mahout的應(yīng)用
5.7.1 應(yīng)用構(gòu)架
5.7.2 應(yīng)用實(shí)例
第6章 Hadoop云計(jì)算的Avro詳解
6.1 Avro概述
6.2 Avro模式
6.2.1 Avro模式聲明
6.2.2 組件化Avro模式
6.3 Avro數(shù)據(jù)
6.3.1 數(shù)據(jù)序列化
6.3.2 數(shù)據(jù)排序順序
6.4 Avro協(xié)議
6.4.1 Avro協(xié)議聲明
6.4.2 協(xié)議傳輸格式
6.5 使用Avro實(shí)現(xiàn)繼承
6.6 使用Avro實(shí)現(xiàn)多態(tài)性
6.7 使用Avro的向后兼容性
6.8 Avro的C/C++實(shí)現(xiàn)
6.9 Avro的Java實(shí)現(xiàn)
6.10 Avro IDL語言
第7章 Hadoop云計(jì)算的Chukwa詳解
7.1 初識(shí)Chukwa
7.1.1 Chukwa不是什么
7.1.2 Chukwa是什么
7.1.3 Chukwa流水線數(shù)據(jù)處理
7.2 Chukwa架構(gòu)
7.2.1 adaptors和agents
7.2.2 collector與Demux
7.2.3 HICC
7.2.4 dbadmin
7.2.5 數(shù)據(jù)接口與