大數(shù)據(jù)實時計算與應用

目錄
第1章分布式實時計算系統(tǒng)
1.1分布式的概念
1.1.1分布式系統(tǒng)
1.1.2分布式計算
1.2分布式通信
1.2.1分布式通信基礎
1.2.2消息隊列
1.2.3Storm計算模型
1.3分布式實時計算系統(tǒng)架構(gòu)
1.3.1數(shù)據(jù)獲取——Kafka
1.3.2數(shù)據(jù)處理——Storm
1.3.3數(shù)據(jù)存儲——HBase
1.4系統(tǒng)架構(gòu)
本章小結(jié)
習題
第2章初識Kafka
2.1什么是Kafka
2.1.1Kafka概述
2.1.2使用場景
2.1.3Kafka基本特性
2.1.4性能
2.1.5總結(jié)
2.1.6Kafka在LinkedIn中的應用
2.2Topics和logs
2.3分布式——consumers和producers
本章小結(jié)
習題
第3章Kafka環(huán)境搭建
3.1服務器搭建
3.2開發(fā)環(huán)境搭建
本章小結(jié)
習題
第4章Kafka消息傳送
4.1消息傳輸?shù)氖聞斩x
4.2性能優(yōu)化
4.2.1消息集
4.2.2數(shù)據(jù)壓縮
4.3生產(chǎn)者和消費者
4.3.1Kafka生產(chǎn)者的消息發(fā)送
4.3.2Kafka consumer
4.4主從同步
4.5客戶端API
4.5.1Kafka producer API
4.5.2Kafka consumer API
4.6消息和日志
本章小結(jié)
習題



第5章Zookeeper開發(fā)
5.1Zookeeper的來源
5.2Zookeeper基礎
5.2.1基本概念
5.2.2Zookeeper架構(gòu)
5.3Zookeeper的API
5.3.1建立會話
5.3.2管理權(quán)
5.3.3節(jié)點注冊
5.3.4任務隊列化
5.4狀態(tài)變化處理
5.5故障處理
5.6Zookeeper集群管理
5.6.1集群配置
5.6.2集群管理
本章小結(jié)
習題
第6章初識HBase
6.1什么是HBase
6.1.1大數(shù)據(jù)的背景
6.1.2HBase架構(gòu)
6.1.3HBase存儲API
6.2HBase部署
6.2.1HBase配置及安裝
6.2.2運行模式
6.2.3集群操作
本章小結(jié)
習題
第7章HBase基礎操作
7.1CRUD操作
7.1.1Put操作
7.1.2Get操作
7.1.3Delete操作
7.2批處理操作
7.3行鎖
7.4掃描
7.5其他操作
7.5.1HTable方法
7.5.2Bytes方法
本章小結(jié)
習題
第8章HBase高階特性
8.1過濾器
8.1.1什么是過濾器
8.1.2比較過濾器
8.1.3專用過濾器
8.1.4附加過濾器
8.2計數(shù)器
8.2.1什么是計數(shù)器
8.2.2單計數(shù)器及多計數(shù)器
8.3協(xié)處理器
8.3.1什么是協(xié)處理器
8.3.2協(xié)處理器API應用
本章小結(jié)
習題
第9章管理HBase
9.1HBase數(shù)據(jù)描述
9.1.1表
9.1.2列簇
9.1.3屬性
9.2表管理API
9.2.1基礎操作
9.2.2集群管理
本章小結(jié)
習題
第10章初識Storm
10.1什么是Storm
10.1.1Storm能做什么
10.1.2Storm的特性
10.1.3Storm分布式計算結(jié)構(gòu)
10.2構(gòu)建topology
10.2.1Storm的基本概念
10.2.2構(gòu)建topology
10.2.3示例： 單詞計數(shù)
10.3Storm并發(fā)機制
10.3.1topology并發(fā)機制
10.3.2給topology增加Worker
10.3.3配置Executor和task
10.4數(shù)據(jù)流分組的理解
10.5消息的可靠處理
10.5.1消息被處理后會發(fā)生什么
10.5.2Storm可靠性的實現(xiàn)方法
10.5.3調(diào)整可靠性
本章小結(jié)
習題
第11章配置Storm集群
11.1Storm集群框架介紹
11.1.1理解nimbus守護進程
11.1.2supervisor守護進程的工作方式
11.1.3DRPC服務工作機制
11.1.4Storm的UI簡介
11.2在Linux上安裝Storm
11.2.1搭建Zookeeper集群
11.2.2安裝Storm依賴庫
11.2.3下載并解壓Storm發(fā)布版本
11.2.4修改storm.yaml配置文件
11.2.5啟動Storm后臺進程
11.3將topology提交到集群上
本章小結(jié)
習題
第12章Trident和TridentML
12.1Trident topology
12.1.1Trident綜述
12.1.2Reach
12.1.3字段和元組
12.1.4狀態(tài)
12.1.5Trident topology的執(zhí)行
12.2Trident接口
12.2.1綜述
12.2.2本地分區(qū)操作
12.2.3重新分區(qū)操作
12.2.4群聚操作
12.2.5流分組操作
12.2.6合并和連接
12.3Trident狀態(tài)
12.3.1事務spouts
12.3.2透明事務spouts
12.3.3非事務spouts
12.3.4Spout和State總結(jié)
12.3.5State應用接口
12.3.6MapState的更新
12.3.7執(zhí)行MapState
12.4TridentML： 基于storm的實時在線機器學習庫
本章小結(jié)
習題
第13章DRPC模式
13.1DRPC概述
13.2DRPC自動化組件
13.3本地模式DRPC
13.4遠程模式DRPC
13.5一個更復雜的例子
本章小結(jié)
習題
第14章Storm實戰(zhàn)
14.1網(wǎng)站頁面瀏覽量計算
14.1.1背景介紹
14.1.2體系結(jié)構(gòu)
14.1.3項目相關介紹
14.1.4Storm編碼實現(xiàn)
14.1.5運行topology
14.2網(wǎng)站用戶訪問量計算
14.2.1背景介紹
14.2.2Storm代碼實現(xiàn)
14.2.3運行topology
本章小結(jié)
習題
參考文獻