HBase不睡覺書

目 錄

第1章 初識HBase 1
1.1 海量數(shù)據(jù)與NoSQL 1
1.1.1 關(guān)系型數(shù)據(jù)庫的極限 1
1.1.2 CAP理論 1
1.1.3 NoSQL 2
1.2 HBase是怎么來的 3
1.3 為什么要用HBase 3
1.4 你必須懂的基本概念 4
1.4.1 部署架構(gòu) 4
1.4.2 存儲架構(gòu) 7
1.4.3 跟關(guān)系型數(shù)據(jù)庫的對比 9
第2章 讓HBase跑起來 11
2.1 本書測試環(huán)境 12
2.2 配置服務(wù)器名 12
2.3 配置SSH免密登錄 13
2.4 安裝Hadoop 15
2.4.1 安裝Hadoop單機模式 15
2.4.2 安裝Hadoop集群模式 20
2.4.3 ZooKeeper 23
2.4.4 配置Hadoop HA 27
2.4.5 讓Hadoop可以開機自啟動 35
2.4.6 最終配置文件 41
2.5 安裝HBase 43
2.5.1 單機模式 45
2.5.2 偽分布式模式 47
2.5.3 關(guān)于ZooKeeper不得不說的事 51
2.5.4 完全分布式模式 52
2.5.5 HBase Web控制臺（UI） 58
2.5.6 讓HBase可以開機自啟動 58
2.5.7 啟用數(shù)據(jù)塊編碼（可選） 60
2.5.8 啟用壓縮器（可選） 65
2.5.9 數(shù)據(jù)塊編碼還是壓縮器（可選） 70
第3章 HBase基本操作 71
3.1 hbase shell的使用 71
3.1.1 用create命令建表 72
3.1.2 用list命令來查看庫中有哪些表 73
3.1.3 用describe命令來查看表屬性 73
3.1.4 用put命令來插入數(shù)據(jù) 74
3.1.5 用scan來查看表數(shù)據(jù) 76
3.1.6 用get來獲取單元格數(shù)據(jù) 77
3.1.7 用delete來刪除數(shù)據(jù) 77
3.1.8 用deleteall刪除整行記錄 79
3.1.9 用disable來停用表 80
3.1.10 用drop來刪除表 80
3.1.11 shell命令列表 81
3.2 使用Hue來查看HBase數(shù)據(jù) 121
3.2.1 準備工作 121
3.2.2 安裝Hue 124
3.2.3 配置Hue 127
3.2.4 使用Hue來查看HBase 132
第4章 客戶端API入門 134
4.1 10分鐘教程 134
4.2 30分鐘教程 141
4.3 CRUD一個也不能少 147
4.3.1 HTable類和Table接口 147
4.3.2 put方法 148
4.3.3 append方法 155
4.3.4 increment方法 157
4.3.5 get方法 158
4.3.6 exists 方法 162
4.3.7 delete方法 162
4.3.8 mutation方法 164
4.4 批量操作 166
4.4.1 批量put操作 167
4.4.2 批量get操作 167
4.4.3 批量delete操作 168
4.5 BufferedMutator（可選） 168
4.6 Scan掃描 170
4.6.1 用法 170
4.6.2 緩存 173
4.7 HBase支持什么數(shù)據(jù)格式 174
4.8 總結(jié) 175
第5章 HBase內(nèi)部探險 176
5.1 數(shù)據(jù)模型 176
5.2 HBase是怎么存儲數(shù)據(jù)的 178
5.2.1 宏觀架構(gòu) 178
5.2.2 預(yù)寫日志 181
5.2.3 MemStore 183
5.2.4 HFile 184
5.2.5 KeyValue類 186
5.2.6 增刪查改的真正面目 186
5.2.7 數(shù)據(jù)單元層次圖 187
5.3 一個KeyValue的歷險 187
5.3.1 寫入 188
5.3.2 讀出 188
5.4 Region的定位 189
第6章 客戶端API的高階用法 193
6.1 過濾器 193
6.1.1 過濾器快速入門 194
6.1.2 比較運算快速入門 198
6.1.3 分頁過濾器 201
6.1.4 過濾器列表 203
6.1.5 行鍵過濾器 208
6.1.6 列過濾器 214
6.1.7 單元格過濾器 227
6.1.8 裝飾過濾器 228
6.1.9 自定義過濾器 231
6.1.10 如何在hbase shell中使用過濾器 248
6.2 協(xié)處理器 249
6.2.1 協(xié)處理器家族 249
6.2.2 快速入門 251
6.2.3 如何加載 254
6.2.4 協(xié)處理器核心類 256
6.2.5 觀察者 259
6.2.6 終端程序 276
第7章 客戶端API的管理功能 290
7.1 列族管理 290
7.2 表管理 296
7.3 Region管理 299
7.4 快照管理 304
7.5 維護工具管理 307
7.5.1 均衡器 307
7.5.2 規(guī)整器 308
7.5.3 目錄管理器 310
7.6 集群狀態(tài)以及負載（ClusterStatus & ServerLoad） 311
7.7 Admin的其他方法 315
7.8 可見性標(biāo)簽管理 319
7.8.1 快速入門 321
7.8.2 可用標(biāo)簽 328
7.8.3 用戶標(biāo)簽 329
7.8.4 單元格標(biāo)簽 329

第8章 再快一點 331
8.1 Master和RegionServer的JVM調(diào)優(yōu) 331
8.1.1 先調(diào)大堆內(nèi)存 331
8.1.2 可怕的Full GC 333
8.1.3 Memstore的專屬JVM策略MSLAB 335
8.2 Region的拆分 340
8.2.1 Region的自動拆分 341
8.2.2 Region的預(yù)拆分 345
8.2.3 Region的強制拆分 347
8.2.4 推薦方案 347
8.2.5 總結(jié) 347
8.3 Region的合并 348
8.3.1 通過Merge類合并Region 348
8.3.2 熱合并 348
8.4 WAL的優(yōu)化 349
8.5 BlockCache的優(yōu)化 351
8.5.1 LRUBlockCache 352
8.5.2 SlabCache 353
8.5.3 BucketCache 354
8.5.4 組合模式 356
8.5.5 總結(jié) 357
8.6 Memstore的優(yōu)化 357
8.6.1 讀寫中的Memstore 358
8.6.2 Memstore的刷寫 358
8.6.3 總結(jié) 361
8.7 HFile的合并 361
8.7.1 合并的策略 361
8.7.2 compaction的吞吐量限制參數(shù) 374
8.7.3 合并的時候HBase做了什么 377
8.7.4 Major Compaction 378
8.7.5 總結(jié) 380
8.8 診斷手冊 380
8.8.1 阻塞急救 380
8.8.2 朱麗葉暫停 381
8.8.3 讀取性能調(diào)優(yōu) 384
8.8.4 案例分析 385
第9章 當(dāng)HBase遇上MapReduce 389
9.1 為什么要用MapReduce 389
9.2 快速入門 389
9.3 慢速入門：編寫自己的MapReduce 391
9.3.1 準備數(shù)據(jù) 391
9.3.2 新建項目 392
9.3.3 建立MapReduce類 393
9.3.4 建立驅(qū)動類 396
9.3.5 打包、部署、運行 400
9.4 相關(guān)類介紹 402
9.4.1 TableMapper 402
9.4.2 TableReducer 403
9.4.3 TableMapReduceUtil 403