Storm企業(yè)級應用：實戰(zhàn)、運維和調優(yōu)

目 錄 Contents
前 言
基 礎 篇
第1章 認識Storm 2
1.1 什么是實時流計算 2
1.1.1 實時流計算背景 3
1.1.2 實時計算應用場景 3
1.1.3 實時計算處理流程 4
1.1.4 實時計算框架 5
1.2 Storm是什么 11
1.2.1 Storm出現(xiàn)的背景 12
1.2.2 Storm簡介 12
1.2.3 Storm的設計思想 13
1.2.4 Storm與Hadoop的角色和組件比較 14
1.3 Storm核心組件 15
1.3.1 主節(jié)點Nimbus 15
1.3.2 工作節(jié)點Supervisor 15
1.3.3 協(xié)調服務組件ZooKeeper 16
1.3.4 其他核心組件 16
1.4 Storm的特性 16
1.5 Storm的功能 18
1.6 本章小結 19
第2章 開始使用Storm 20
2.1 環(huán)境準備 20
2.1.1 系統(tǒng)配置 20
2.1.2 安裝ZooKeeper集群 22
2.2 啟動模式 26
2.2.1 本地模式 26
2.2.2 分布式模式 26
2.3 安裝部署Storm集群 26
2.3.1 安裝Storm依賴庫 27
2.3.2 安裝Storm集群 28
2.3.3 啟動Storm集群 31
2.3.4 停止Storm集群 33
2.4 創(chuàng)建Topology并向集群提交任務 33
2.4.1 創(chuàng)建Topology 34
2.4.2 向集群提交任務 36
2.5 本章小結 36
第3章 核心概念和數(shù)據(jù)流模型 37
3.1 Tuple元組 37
3.1.1 Tuple描述 37
3.1.2 Tuple的生命周期 38
3.2 Spout數(shù)據(jù)源 39
3.2.1 Spout介紹 39
3.2.2 Spout實例 40
3.3 Bolt消息處理者 42
3.3.1 Bolt介紹 42
3.3.2 Bolt實例 45
3.4 Topology拓撲 47
3.4.1 Topology實例 48
3.4.2 Topology運行 51
3.5 Stream消息流和Stream Grouping消息流組 55
3.5.1 Stream消息流 55
3.5.2 Stream Grouping消息流組 55
3.6 Task任務 56
3.7 Worker工作者進程 56
3.8 Worker、Task、Executor三者之間的關系 57
3.9 事務 57
3.10 數(shù)據(jù)流模型 58
3.10.1 數(shù)據(jù)流模型簡介 58
3.10.2 Storm數(shù)據(jù)流模型 60
3.11 本章小結 61
實 戰(zhàn) 篇
第4章 實例1：移動互聯(lián)——語音“實時墻” 64
4.1 業(yè)務背景 64
4.1.1 案例背景 64
4.1.2 設計目標 65
4.1.3 數(shù)據(jù)格式 66
4.1.4 硬件配置 68
4.2 系統(tǒng)架構與模塊設計 68
4.2.1 整體架構 69
4.2.2 數(shù)據(jù)采集 70
4.2.3 數(shù)據(jù)實時處理 70
4.2.4 存儲設計 70
4.2.5 Web實時展示 71
4.2.6 硬件部署圖 72
4.3 核心模塊實現(xiàn) 73
4.3.1 實時處理業(yè)務邏輯實現(xiàn) 73
4.3.2 Web展示實現(xiàn) 80
4.3.3 最終效果呈現(xiàn) 88
4.4 本章小結 89
第5章 實例2：運營商——網(wǎng)絡流量流向實時分析 90
5.1 業(yè)務背景 90
5.1.1 案例背景 91
5.1.2 設計目標 91
5.1.3 數(shù)據(jù)規(guī)模預估 92
5.1.4 數(shù)據(jù)格式 92
5.1.5 統(tǒng)計分析需求 93
5.2 系統(tǒng)架構與模塊設計 94
5.2.1 整體架構 94
5.2.2 數(shù)據(jù)源 95
5.2.3 日志采集 96
5.2.4 數(shù)據(jù)存儲 96
5.2.5 數(shù)據(jù)處理 97
5.2.6 目標存儲和擴展服務 97
5.2.7 結果Web展示 97
5.3 核心模塊實現(xiàn) 98
5.3.1 模擬數(shù)據(jù)實現(xiàn) 98
5.3.2 日志采集和存儲實現(xiàn) 102
5.3.3 數(shù)據(jù)處理實現(xiàn) 105
5.3.4 Web展示實現(xiàn) 111
5.4 本章小結 114
第6章 實例3：交通——基于GPS的實時路況分析 115
6.1 業(yè)務背景 115
6.1.1 案例背景 115
6.1.2 設計目標 116
6.1.3 數(shù)據(jù)格式 118
6.1.4 實時路況分析方法 118
6.2 系統(tǒng)架構和模塊設計 118
6.3 核心模塊的實現(xiàn) 121
6.3.1 安裝Kafka集群 121
6.3.2 Flume整合Kafka 124
6.3.3 實時處理數(shù)據(jù) 125
6.3.4 Web頁面展示 127
6.4 本章小結 129
第7章 實例4：互聯(lián)網(wǎng)——數(shù)據(jù)質量實時監(jiān)控 130
7.1 業(yè)務背景 130
7.1.1 案例背景 130
7.1.2 設計目標 132
7.1.3 數(shù)據(jù)格式 132
7.2 系統(tǒng)架構與模塊設計 133
7.2.1 整體架構 133
7.2.2 結果Web展示 135
7.3 核心模塊實現(xiàn) 135
7.3.1 模擬數(shù)據(jù) 135
7.3.2 實時處理業(yè)務邏輯的實現(xiàn) 141
7.3.3 Web界面實現(xiàn) 147
7.3.4 最終效果圖 150
7.4 本章小結 152
第8章 實例5：交通——超速頻發(fā)路段監(jiān)控 153
8.1 業(yè)務背景 153
8.1.1 案例背景 153
8.1.2 數(shù)據(jù)類型 155
8.2 系統(tǒng)架構和模塊設計 157
8.3 核心模塊實現(xiàn) 158
8.3.1 實現(xiàn)入口類Main 158
8.3.2 數(shù)據(jù)源SocketSpout的實現(xiàn) 159
8.3.3 實時處理MapSearchBolt和SpeedProcessBolt的實現(xiàn) 161
8.3.4 目標存儲DataBaseLoadBolt的實現(xiàn) 169
8.4 本章小結 171
第9章 實例6：互聯(lián)網(wǎng)——廣告實時流量統(tǒng)計 172
9.1 廣告實時流量統(tǒng)計系統(tǒng)架構 172
9.1.1 廣告數(shù)據(jù) 172
9.1.2 詳細需求描述 174
9.1.3 系統(tǒng)架構 175
9.2 表結構與模塊設計 177
9.2.1 表結構設計 177
9.2.2 功能模塊設計 178
9.3 核心模塊實現(xiàn) 179
9.3.1 部署物理集群環(huán)境 179
9.3.2 Kafka生產者邏輯的實現(xiàn) 181
9.3.3 使用Stormkafka實現(xiàn)業(yè)務邏輯 182
9.3.4 使用HBase存儲并實現(xiàn)統(tǒng)計 193
9.4 本章小結 194
技 巧 篇
第10章 Storm常見故障及解決方法 196
10.1 安裝部署故障 196
10.1.1 “no jzmq in java.library.path”異常 196
10.1.2 “No rule to make target”異常 198
10.1.3 “cannot access org.zeromq.ZMQ”異常 198
10.1.4 缺少pkgconf?ig異常 198
10.1.5 “java.lang.Unsatisf?iedLinkError”異常 199
10.1.6 “java.lang.NoClassDefFoundError：clojure.core.protocols$”異常 199
10.1.7 “Error：cannot link with luuid，install uuiddev”異常 199
10.1.8 “bad interpreter：No such f?ile or directory”異常 200
10.1.9 “org.zeromq.ZMQException：Invalid argument”異常 200
10.2 啟動故障 201
10.2.1 “java.io.FileNotFoundException”異常 201
10.2.2 “java.io.EOFException”異常 202
10.3 運行時故障 202
10.3.1 “Nimbus host is not set”異常 203
10.3.2 “AlreadyAliveException（msg：xxx is alreadyactive）”異常 203
10.3.3 無法序列化log4j.Logger異常 203
10.3.4 “Failing message”異常 203
10.3.5 “java.io.NotSerializableException”異常 204
10.3.6 “java.lang.NoClassDefFoundError”異常 205
10.3.7 “java.net.NoRouteToHostException”異常 206
10.3.8 “java.net.UnknownHostException”異常 206
10.3.9 重復defaults.yaml資源文件異常 207
10.3.10 “KeeperException$NoNodeException”異常 208
10.3.11 “A fatal error has been detected by the Java Runtime Environment”錯誤 209
10.3.12 “java.lang.ArrayIndexOutOfBoundsException”異常 212
10.3.13 DRPC空指針異常 212
10.3.14 Storm Thrift讀取數(shù)據(jù)報錯 212
10.4 本章小結 214
第11章 Storm使用技巧和最佳實踐 215
11.1 核心組件使用要點 215
11.1.1 Spout和Bolt 215
11.1.2 ZooKeeper集群盡量獨立 219
11.1.3 Thrift服務的應用場景 220
11.1.4 序列化機制的使用場景 220
11.2 集群配置技巧 220
11.2.1 默認參數(shù)配置 220
11.2.2 日志信息 223
11.2.3 合理配置JVM參數(shù) 223
11.3 集群運維技巧 224
11.3.1 Storm計算結果的存儲位置 224
11.3.2 Storm集群動態(tài)增刪節(jié)點 224
11.3.3 關閉Storm相關進程 224
11.3.4 Storm UI顯示內容的問題 224
11.4 項目開發(fā)技巧 225
11.4.1 使用assembly插件打包 225
11.4.2 依賴JAR沖突 228
11.5 保證消息的可靠處理 228
11.5.1 消息失敗后的處理 228
11.5.2 主動干預可靠性 229
11.5.3 處理重復的Tuple 229
11.6 理解DRPC原語 230
11.6.1 DRPC工作流 230
11.6.2 LinearDRPCTopologyBuilder實現(xiàn)類 231
11.6.3 DRPC的兩種模式 231
11.7 快速理解一致性事務 232
11.7.1 Trident框架的使用 233
11.7.2 Trident框架的細節(jié) 234
11.7.3 事務性Spout 236
11.7.4 狀態(tài)State 238
11.8 本章小結 241