Storm企業(yè)級應(yīng)用：實(shí)戰(zhàn)、運(yùn)維和調(diào)優(yōu)

目 錄 Contents
前 言
基 礎(chǔ) 篇
第1章 認(rèn)識Storm 2
1.1 什么是實(shí)時流計算 2
1.1.1 實(shí)時流計算背景 3
1.1.2 實(shí)時計算應(yīng)用場景 3
1.1.3 實(shí)時計算處理流程 4
1.1.4 實(shí)時計算框架 5
1.2 Storm是什么 11
1.2.1 Storm出現(xiàn)的背景 12
1.2.2 Storm簡介 12
1.2.3 Storm的設(shè)計思想 13
1.2.4 Storm與Hadoop的角色和組件比較 14
1.3 Storm核心組件 15
1.3.1 主節(jié)點(diǎn)Nimbus 15
1.3.2 工作節(jié)點(diǎn)Supervisor 15
1.3.3 協(xié)調(diào)服務(wù)組件ZooKeeper 16
1.3.4 其他核心組件 16
1.4 Storm的特性 16
1.5 Storm的功能 18
1.6 本章小結(jié) 19
第2章 開始使用Storm 20
2.1 環(huán)境準(zhǔn)備 20
2.1.1 系統(tǒng)配置 20
2.1.2 安裝ZooKeeper集群 22
2.2 啟動模式 26
2.2.1 本地模式 26
2.2.2 分布式模式 26
2.3 安裝部署Storm集群 26
2.3.1 安裝Storm依賴庫 27
2.3.2 安裝Storm集群 28
2.3.3 啟動Storm集群 31
2.3.4 停止Storm集群 33
2.4 創(chuàng)建Topology并向集群提交任務(wù) 33
2.4.1 創(chuàng)建Topology 34
2.4.2 向集群提交任務(wù) 36
2.5 本章小結(jié) 36
第3章 核心概念和數(shù)據(jù)流模型 37
3.1 Tuple元組 37
3.1.1 Tuple描述 37
3.1.2 Tuple的生命周期 38
3.2 Spout數(shù)據(jù)源 39
3.2.1 Spout介紹 39
3.2.2 Spout實(shí)例 40
3.3 Bolt消息處理者 42
3.3.1 Bolt介紹 42
3.3.2 Bolt實(shí)例 45
3.4 Topology拓?fù)? 47
3.4.1 Topology實(shí)例 48
3.4.2 Topology運(yùn)行 51
3.5 Stream消息流和Stream Grouping消息流組 55
3.5.1 Stream消息流 55
3.5.2 Stream Grouping消息流組 55
3.6 Task任務(wù) 56
3.7 Worker工作者進(jìn)程 56
3.8 Worker、Task、Executor三者之間的關(guān)系 57
3.9 事務(wù) 57
3.10 數(shù)據(jù)流模型 58
3.10.1 數(shù)據(jù)流模型簡介 58
3.10.2 Storm數(shù)據(jù)流模型 60
3.11 本章小結(jié) 61
實(shí) 戰(zhàn) 篇
第4章 實(shí)例1：移動互聯(lián)——語音“實(shí)時墻” 64
4.1 業(yè)務(wù)背景 64
4.1.1 案例背景 64
4.1.2 設(shè)計目標(biāo) 65
4.1.3 數(shù)據(jù)格式 66
4.1.4 硬件配置 68
4.2 系統(tǒng)架構(gòu)與模塊設(shè)計 68
4.2.1 整體架構(gòu) 69
4.2.2 數(shù)據(jù)采集 70
4.2.3 數(shù)據(jù)實(shí)時處理 70
4.2.4 存儲設(shè)計 70
4.2.5 Web實(shí)時展示 71
4.2.6 硬件部署圖 72
4.3 核心模塊實(shí)現(xiàn) 73
4.3.1 實(shí)時處理業(yè)務(wù)邏輯實(shí)現(xiàn) 73
4.3.2 Web展示實(shí)現(xiàn) 80
4.3.3 最終效果呈現(xiàn) 88
4.4 本章小結(jié) 89
第5章 實(shí)例2：運(yùn)營商——網(wǎng)絡(luò)流量流向?qū)崟r分析 90
5.1 業(yè)務(wù)背景 90
5.1.1 案例背景 91
5.1.2 設(shè)計目標(biāo) 91
5.1.3 數(shù)據(jù)規(guī)模預(yù)估 92
5.1.4 數(shù)據(jù)格式 92
5.1.5 統(tǒng)計分析需求 93
5.2 系統(tǒng)架構(gòu)與模塊設(shè)計 94
5.2.1 整體架構(gòu) 94
5.2.2 數(shù)據(jù)源 95
5.2.3 日志采集 96
5.2.4 數(shù)據(jù)存儲 96
5.2.5 數(shù)據(jù)處理 97
5.2.6 目標(biāo)存儲和擴(kuò)展服務(wù) 97
5.2.7 結(jié)果Web展示 97
5.3 核心模塊實(shí)現(xiàn) 98
5.3.1 模擬數(shù)據(jù)實(shí)現(xiàn) 98
5.3.2 日志采集和存儲實(shí)現(xiàn) 102
5.3.3 數(shù)據(jù)處理實(shí)現(xiàn) 105
5.3.4 Web展示實(shí)現(xiàn) 111
5.4 本章小結(jié) 114
第6章 實(shí)例3：交通——基于GPS的實(shí)時路況分析 115
6.1 業(yè)務(wù)背景 115
6.1.1 案例背景 115
6.1.2 設(shè)計目標(biāo) 116
6.1.3 數(shù)據(jù)格式 118
6.1.4 實(shí)時路況分析方法 118
6.2 系統(tǒng)架構(gòu)和模塊設(shè)計 118
6.3 核心模塊的實(shí)現(xiàn) 121
6.3.1 安裝Kafka集群 121
6.3.2 Flume整合Kafka 124
6.3.3 實(shí)時處理數(shù)據(jù) 125
6.3.4 Web頁面展示 127
6.4 本章小結(jié) 129
第7章 實(shí)例4：互聯(lián)網(wǎng)——數(shù)據(jù)質(zhì)量實(shí)時監(jiān)控 130
7.1 業(yè)務(wù)背景 130
7.1.1 案例背景 130
7.1.2 設(shè)計目標(biāo) 132
7.1.3 數(shù)據(jù)格式 132
7.2 系統(tǒng)架構(gòu)與模塊設(shè)計 133
7.2.1 整體架構(gòu) 133
7.2.2 結(jié)果Web展示 135
7.3 核心模塊實(shí)現(xiàn) 135
7.3.1 模擬數(shù)據(jù) 135
7.3.2 實(shí)時處理業(yè)務(wù)邏輯的實(shí)現(xiàn) 141
7.3.3 Web界面實(shí)現(xiàn) 147
7.3.4 最終效果圖 150
7.4 本章小結(jié) 152
第8章 實(shí)例5：交通——超速頻發(fā)路段監(jiān)控 153
8.1 業(yè)務(wù)背景 153
8.1.1 案例背景 153
8.1.2 數(shù)據(jù)類型 155
8.2 系統(tǒng)架構(gòu)和模塊設(shè)計 157
8.3 核心模塊實(shí)現(xiàn) 158
8.3.1 實(shí)現(xiàn)入口類Main 158
8.3.2 數(shù)據(jù)源SocketSpout的實(shí)現(xiàn) 159
8.3.3 實(shí)時處理MapSearchBolt和SpeedProcessBolt的實(shí)現(xiàn) 161
8.3.4 目標(biāo)存儲DataBaseLoadBolt的實(shí)現(xiàn) 169
8.4 本章小結(jié) 171
第9章 實(shí)例6：互聯(lián)網(wǎng)——廣告實(shí)時流量統(tǒng)計 172
9.1 廣告實(shí)時流量統(tǒng)計系統(tǒng)架構(gòu) 172
9.1.1 廣告數(shù)據(jù) 172
9.1.2 詳細(xì)需求描述 174
9.1.3 系統(tǒng)架構(gòu) 175
9.2 表結(jié)構(gòu)與模塊設(shè)計 177
9.2.1 表結(jié)構(gòu)設(shè)計 177
9.2.2 功能模塊設(shè)計 178
9.3 核心模塊實(shí)現(xiàn) 179
9.3.1 部署物理集群環(huán)境 179
9.3.2 Kafka生產(chǎn)者邏輯的實(shí)現(xiàn) 181
9.3.3 使用Stormkafka實(shí)現(xiàn)業(yè)務(wù)邏輯 182
9.3.4 使用HBase存儲并實(shí)現(xiàn)統(tǒng)計 193
9.4 本章小結(jié) 194
技 巧 篇
第10章 Storm常見故障及解決方法 196
10.1 安裝部署故障 196
10.1.1 “no jzmq in java.library.path”異常 196
10.1.2 “No rule to make target”異常 198
10.1.3 “cannot access org.zeromq.ZMQ”異常 198
10.1.4 缺少pkgconf?ig異常 198
10.1.5 “java.lang.Unsatisf?iedLinkError”異常 199
10.1.6 “java.lang.NoClassDefFoundError：clojure.core.protocols$”異常 199
10.1.7 “Error：cannot link with luuid，install uuiddev”異常 199
10.1.8 “bad interpreter：No such f?ile or directory”異常 200
10.1.9 “org.zeromq.ZMQException：Invalid argument”異常 200
10.2 啟動故障 201
10.2.1 “java.io.FileNotFoundException”異常 201
10.2.2 “java.io.EOFException”異常 202
10.3 運(yùn)行時故障 202
10.3.1 “Nimbus host is not set”異常 203
10.3.2 “AlreadyAliveException（msg：xxx is alreadyactive）”異常 203
10.3.3 無法序列化log4j.Logger異常 203
10.3.4 “Failing message”異常 203
10.3.5 “java.io.NotSerializableException”異常 204
10.3.6 “java.lang.NoClassDefFoundError”異常 205
10.3.7 “java.net.NoRouteToHostException”異常 206
10.3.8 “java.net.UnknownHostException”異常 206
10.3.9 重復(fù)defaults.yaml資源文件異常 207
10.3.10 “KeeperException$NoNodeException”異常 208
10.3.11 “A fatal error has been detected by the Java Runtime Environment”錯誤 209
10.3.12 “java.lang.ArrayIndexOutOfBoundsException”異常 212
10.3.13 DRPC空指針異常 212
10.3.14 Storm Thrift讀取數(shù)據(jù)報錯 212
10.4 本章小結(jié) 214
第11章 Storm使用技巧和最佳實(shí)踐 215
11.1 核心組件使用要點(diǎn) 215
11.1.1 Spout和Bolt 215
11.1.2 ZooKeeper集群盡量獨(dú)立 219
11.1.3 Thrift服務(wù)的應(yīng)用場景 220
11.1.4 序列化機(jī)制的使用場景 220
11.2 集群配置技巧 220
11.2.1 默認(rèn)參數(shù)配置 220
11.2.2 日志信息 223
11.2.3 合理配置JVM參數(shù) 223
11.3 集群運(yùn)維技巧 224
11.3.1 Storm計算結(jié)果的存儲位置 224
11.3.2 Storm集群動態(tài)增刪節(jié)點(diǎn) 224
11.3.3 關(guān)閉Storm相關(guān)進(jìn)程 224
11.3.4 Storm UI顯示內(nèi)容的問題 224
11.4 項目開發(fā)技巧 225
11.4.1 使用assembly插件打包 225
11.4.2 依賴JAR沖突 228
11.5 保證消息的可靠處理 228
11.5.1 消息失敗后的處理 228
11.5.2 主動干預(yù)可靠性 229
11.5.3 處理重復(fù)的Tuple 229
11.6 理解DRPC原語 230
11.6.1 DRPC工作流 230
11.6.2 LinearDRPCTopologyBuilder實(shí)現(xiàn)類 231
11.6.3 DRPC的兩種模式 231
11.7 快速理解一致性事務(wù) 232
11.7.1 Trident框架的使用 233
11.7.2 Trident框架的細(xì)節(jié) 234
11.7.3 事務(wù)性Spout 236
11.7.4 狀態(tài)State 238
11.8 本章小結(jié) 241