深入云計算：Hadoop應用開發(fā)實戰(zhàn)詳解

第1篇 Hadoop技術篇 第1章 初識Hadoop 1.1 Hadoop簡介 1.1.1 Hadoop的起源 1.1.2 什么是Hadoop 1.1.3 Hadoop的核心技術是Google核心技術的開源實現 1.1.4 Hadoop的功能與優(yōu)點 1.1.5 Hadoop的應用現狀和發(fā)展趨勢 1.2 Hadoop的體系結構 1.2.1 HDFS的體系結構 1.2.2 MapReduce的體系結構 1.3 Hadoop與分布式開發(fā) 1.4 Hadoop的數據管理 1.4.1 HDFS的數據管理 1.4.2 HBase的數據管理 1.4.3 Hive的數據管理 1.5 思考與總結 第2章 Hadoop的安裝和配置 2.1 在Windows下安裝與配置Hadoop 2.1.1 JDK的安裝 2.1.2 Cygwin的安裝 2.1.3 Hadoop的安裝 2.2 在Linux下安裝與配置Hadoop 2.2.1 Ubuntu的安裝 2.2.2 JDK的安裝 2.2.3 Hadoop的安裝 2.3 Hadoop的執(zhí)行實例 2.3.1 運行Hadoop 2.3.2 運行wordcount.java程序 2.4 Hadoop Eclipse簡介和使用 2.4.1 Eclipse插件介紹 2.4.2 Eclipse插件開發(fā)配置 2.4.3 在Eclipse下運行WordCount程序 2.5 Hadoop的集群和優(yōu)化 2.5.1 Hadoop的性能優(yōu)化 2.5.2 Hadoop配置機架感知信息 2.6 思考與總結 第3章 HDFS海量存儲 3.1 開源的GFS——HDFS 3.1.1 HDFS簡介 3.1.2 HDFS的體系結構 3.1.3 HDFS的保障可靠性措施 3.2 HDFS的常用操作 3.2.1 HDFS下的文件操作 3.2.2 管理與更新 3.2.3 HDFS API詳解 3.2.4 HDFS的讀/寫數據流 3.3 用HDFS存儲海量的視頻數據 3.3.1 場景分析 3.3.2 設計實現 3.4 思考與總結 第4章 初識MapReduce 4.1 MapReduce簡介 4.1.1 MapReduce要解決什么問題 4.1.2 MapReduce的理論基礎 4.1.3 MapReduce的編程模式 4.2 MapReduce的集群行為 4.3 Map/Reduce框架 4.4 樣例分析：單詞計數 4.4.1 WordCount實例的運行過程 4.4.2 WordCount的源碼分析和程序處理過程 4.4.3 MapReduce常用類及其接口 4.5 實例：倒排索引 4.5.1 倒排索引的分析和設計 4.5.2 倒排索引完整源碼 4.5.3 運行代碼結果 4.6 MapReduce 在日志分析中數據去重案例 4.6.1 什么是數據去重 4.6.2 設計思路 4.6.3 程序代碼 4.6.4 代碼運行結果 4.7 數據排序實例 4.7.1 實例描述 4.7.2 設計思路 4.7.3 程序代碼 4.8 思考與總結 第5章 分布式開源數據庫HBase 5.1 HBase簡介 5.1.1 HBase邏輯視圖 5.1.2 HBase物理存儲 5.1.3 子表Region服務器 5.1.4 Hmaster主服務器 5.1.5 元數據表 5.2 HBase的安裝配置 5.2.1 HBase單機模式 5.2.2 HBase偽分布模式 5.2.3 HBase完全分布模式 5.3 學生成績表實例 5.3.1 Shell的基本操作 5.3.2 代碼實現 5.3.3 關于中文的處理 5.3.4 常用HBase的 Shell操作 5.4 思考與總結 第6章 MapReduce進階 6.1 API的配置 6.1.1 一個簡單的配置文件 6.1.2 合并多個源文件 6.1.3 可變的擴展 6.2 配置開發(fā)環(huán)境 6.2.1 配置文件設置 6.2.2 設置用戶標識 6.3 復合鍵值對的使用 6.3.1 小的鍵值對如何合并成大的鍵值對 6.3.2 巧用復合鍵讓系統(tǒng)完成排序 6.4 用戶定制數據類型 6.4.1 內置數據類型 6.4.2 用戶自定義數據類型 6.5 用戶定制輸入/輸出格式 6.5.1 內置數據的輸入格式 6.5.2 用戶定制數據輸入格式與RecordReader 6.5.3 Hadoop內置的數據輸出格式 6.5.4 Hadoop內置的數據輸出格式與RecordWriter 6.6 用戶定制Partitioner和Combiner 6.7 組合式的MapReduce作業(yè) 6.7.1 MapReduce作業(yè)運行機制 6.7.2 組合式MapReduce計算作業(yè) 6.8 DataJoin鏈接多數據源 6.9 思考與總結 第7章 Hive數據倉庫 7.1 Hive簡介 7.2 Hive安裝與配置 7.3 Hive的服務 7.3.1 Hive shell 7.3.2 JDBC/ODBC 7.3.3 Thrift服務 7.3.4 Web接口 7.3.5 元數據服務 7.4 HiveQL查詢語言 7.5 Hive實例 7.5.1 UDF 編程實例 7.5.2 UDAF 編程實例 7.5.3 Hive的日志數據統(tǒng)計實戰(zhàn) 7.6 思考與總結 第8章 Pig開發(fā)應用 8.1 Pig簡介 8.2 Pig的安裝與配置 8.3 Pig的使用 8.3.1 Pig的MapReduce模式 8.3.2 Pig的運行方式 8.4 通過Grunt學習Pig Latin 8.4.1 Pig的數據模型 8.4.2 運算符 8.4.3 常用操作 8.4.4 各種SQL在Pig中的實現 8.4.5 Pig Latin實現 8.5 Pig使用的案例 8.6 思考與總結 第9章 Chukwa數據收集系統(tǒng) 9.1 Chukwa簡介 9.1.1 Chukwa是什么 9.1.2 Chukwa主要解決什么問題 9.2 Chukwa的安裝配置 9.2.1 Chukwa的安裝 9.2.2 Chukwa的配置 9.2.3 Chukwa的啟動 9.3 Chukwa的基本命令 9.3.1 Chukwa端的命令 9.3.2 Agent 端的命令 9.4 Chukwa在數據收集處理方面的運用 9.4.1 數據生成 9.4.2 數據收集 9.4.3 數據處理 9.4.4 數據析取 9.4.5 數據稀釋 9.4.6 數據顯示 9.5 思考與總結 第10章 ZooKeeper開發(fā)應用 10.1 ZooKeeper簡介 10.1.1 ZooKeeper的設計目標 10.1.2 ZooKeeper主要解決什么問題 10.1.3 ZooKeeper的基本概念和工作原理 10.2 ZooKeeper的安裝配置 10.2.1 單機模式 10.2.2 啟動并測試ZooKeeper 10.2.3 集群模式 10.3 ZooKeeper提供的接口 10.4 ZooKeeper事件 10.5 ZooKeeper實例 10.5.1 實例1：一個簡單的應用——分布式互斥鎖 10.5.2 實例2：進程調度系統(tǒng) 10.6 思考與總結 第2篇 Hadoop管理和容錯篇 第11章 Hadoop管理 11.1 Hadoop權限管理 11.2 HDFS文件系統(tǒng)管理 11.3 Hadoop維護與管理 11.4 Hadoop常見問題及解決辦法 11.5 思考與總結 第12章 Hadoop容錯 12.1 Hadoop的可靠性 12.1.1 HDFS中的NameNode單點失效解決方案 12.1.2 HDFS數據塊副本機制 12.1.3 HDFS心跳機制 12.1.4 HDFS負載均衡 12.1.5 MapReduce容錯 12.2 Hadoop的SecondayNameNode機制 12.2.1 磁盤鏡像與日志文件 12.2.2 SecondaryNameNode更新鏡像的流程 12.3 Avatar機制 12.3.1 Avatar機制簡介 12.3.2 Avatars部署實戰(zhàn) 12.4 Hadoop_HBase容錯 12.5 思考與總結 第3篇 Hadoop實戰(zhàn)篇 第13章 綜合實戰(zhàn)1：Hadoop中的數據庫訪問 13.1 DBInputFormat類訪問數據庫 13.1.1 在DBInputFormat類中包含的內置類 13.1.2 使用DBInputFormat讀取數據庫表中的記錄 13.1.3 使用示例 13.2 使用DBOutputFormat向數據庫中寫記錄 13.3 思考與總結 第14章 綜合實戰(zhàn)2：一個簡單的分布式的Grep 14.1 分析與設計 14.2 實現代碼 14.3 運行程序 14.4 思考與總結 第15章 綜合實戰(zhàn)3：打造一個搜索引擎 15.1 搜索引擎工作原理 15.2 網頁搜集與信息提取 15.2.1 設計的主要思想 15.2.2 系統(tǒng)設計目標 15.3 網頁信息的提取與存儲 15.4 MapReduce的預處理 15.4.1 第一步：源數據過濾 15.4.2 第二步：生成倒排文件 15.4.3 第三步：建立二級索引 15.5 建立Web信息查詢服務 15.6 思考與總結 第16章 綜合實戰(zhàn)4：移動通信信令監(jiān)測與查詢 16.1 分析與設計 16.1.1 CDR數據文件的檢測與索引創(chuàng)建任務調度 16.1.2 從HDFS讀取數據并創(chuàng)建索引 16.1.3 查詢CDR信息 16.2 代碼實現 16.2.1 CDR文件檢測和索引創(chuàng)建任務程序 16.2.2 讀取CDR數據和索引創(chuàng)建處理 16.2.3 CDR查詢 16.3 思考與總結 附錄A Hadoop命令大全 附錄B HDFS命令大全