注冊 | 登錄讀書好,好讀書,讀好書!
讀書網(wǎng)-DuShu.com
當前位置: 首頁出版圖書科學技術計算機/網(wǎng)絡軟件與程序設計其他編程語言/工具Hadoop權威指南(中文版)

Hadoop權威指南(中文版)

Hadoop權威指南(中文版)

定 價:¥79.00

作 者: (美)懷特 著,曾大聃,周傲英 譯,周敏 審校
出版社: 清華大學出版社
叢編項:
標 簽: 程序設計

ISBN: 9787302224242 出版時間: 2010-05-01 包裝: 平裝
開本: 16開 頁數(shù): 504 字數(shù):  

內容簡介

  本書從Hadoop的緣起開始,由淺入深,結合理論和實踐,全方位地介紹Hadoop這一高性能處理海量數(shù)據(jù)集的理想工具。全書共14章,3個附錄,涉及的主題包括:Haddoop簡介;MapReduce簡介;Hadoop分布式文件系統(tǒng);Hadoop的I/O、MapReduce應用程序開發(fā);MapReduce的工作機制;MapReduce的類型和格式;MapReduce的特性;如何安裝Hadoop集群,如何管理Hadoop;Pig簡介;Hbase簡介;ZooKeeper簡介,最后還提供了豐富的案例分析。本書是Hadoop權威參考,程序員可從中探索如何分析海量數(shù)據(jù)集,管理員可以從中了解如何安裝與運行Hadoop集群。

作者簡介

  懷特,2007年2月以來,一直擔任Apache Hadoop項目負責人。他是Apache軟件基金會的成員之一,同時也是Cloudera的一名工程師。Tome為IBM的developerWorks撰寫過大量文章,并經常在很多行業(yè)大會上舉行Hadoop主題演講。Loudera Cloudera為Hadoop提供商業(yè)支持并志愿貢獻社區(qū),不收取任何費用。不管是打算在云中運行Hadoop,還是在自己的服務器上運行Hadoop Cloudera都能使其輕松實現(xiàn)。

圖書目錄

第1章 初識Hadoop
1.1 數(shù)據(jù)!數(shù)據(jù)
1.2 數(shù)據(jù)的存儲和分析
1.3 相較于其他系統(tǒng)
1.3.1 關系型數(shù)據(jù)庫管理系統(tǒng)
1.3.2 網(wǎng)格計算
1.3.3 志愿計算
1.4 Hadoop發(fā)展簡史
1.5 Apache Hadoop項目

第2章 Map Reduce簡介
2.1 一個氣象數(shù)據(jù)集
2.2 使用Unix Tools來分析數(shù)據(jù)
2.3 使用Hadoop進行數(shù)據(jù)分析
2.3.1 map和reduce
2.3.2 JavaMap Reduce
2.4 分布化
2.4.1 數(shù)據(jù)流
2.4.2 具體定義一個combiner
2.4.3 運行分布式Map Reduce作業(yè)
2.5 Hadoop流
2.5.1 Ruby語言
2.5.2 Python
2.6 Hadoop管道

第3章 Hadoop分布式文件系統(tǒng)
3.1 HDFS的設計
3.2 HDFS的概念
3.2.1 塊
3.2.2 名稱節(jié)點與數(shù)據(jù)節(jié)點
3.3 命令行接口
3.4 Hadoop文件系統(tǒng)
3.5 Java接口
3.5.1 從Hadoop URL中讀取數(shù)據(jù)
3.5.2 使用FileSystem API讀取數(shù)據(jù)
3.5.3 寫入數(shù)據(jù)
3.5.4 目錄
3.5.5 查詢文件系統(tǒng)
3.5.6 刪除數(shù)據(jù)
3.6 數(shù)據(jù)流
3.6.1 文件讀取剖析
3.6.2 文件寫入剖析
3.6.3 一致模型
3.7 通過distcp進行并行復制
3.8 Hadoop歸檔文件
3.8.1 使用Hadoop Archives
3.8.2 不足

第4章 Hadoop的I/O
4.1 數(shù)據(jù)完整性
4.1.1 HDFS的數(shù)據(jù)完整性
4.1.2 本地文件系統(tǒng)
4.1.3 Checksum File System
4.2 壓縮
4.2.1 編碼/解碼器
4.2.2 壓縮和輸入分割
4.2.3 在Map Reduce中使用壓縮
4.3 序列化
4.3.1 Writable接口
4.3.2 Writeable類
4.3.3 實現(xiàn)自定義的Writable
4.3.4 序列化框架
4.4 基于文件的數(shù)據(jù)結構
4.4.1 Sequence File類
4.4.2 MapFile

第5章 Map Reduce應用開發(fā)
5.1 API的配置
5.1.1 合并資源
5.1.2 各種擴展形式
5.2 配置開發(fā)環(huán)境
5.2.1 配置的管理
5.2.2 Generic Options Parser,Tool和Tool Runner
5.3 編寫單元測試
5.3.1 Mapper
5.3.2 reducer
5.4 本地運行測試數(shù)據(jù)
5.4.1 在本地作業(yè)運行器上運行作業(yè)
5.4.2 測試驅動程序
5.5 在集群上運行
5.5.1 打包
5.5.2 啟動作業(yè)
5.5.3 MapReduce網(wǎng)絡用戶界面
5.5.4 獲取結果
5.5.5 調試作業(yè)
5.5.6 使用遠程調試器
5.6 作業(yè)調優(yōu)
5.7 Map Reduce的工作流
5.7.1 將問題分解成Map Reduce作業(yè)
5.7.2 運行獨立的作業(yè)

第6章 Map Redoce的工作原理
6.1 運行Map Reduce作業(yè)
6.1.1 提交作業(yè)
6.1.2 作業(yè)的初始化
6.1.3 任務的分配
6.1.4 任務的執(zhí)行
6.1.5 進度和狀態(tài)的更新
6.1.6 作業(yè)的完成
6.2 失敗
6.2.1 任務失敗
6.2.2 tasktracker失敗
6.2.3 jobtraeker失敗
6.3 作業(yè)的調度
6.4 shufne和排序
6.4 map端
6.4.2 reduce端
6.4.3 配置的調整
6.5 任務的執(zhí)行
6.5.1 推測式執(zhí)行
6.5.2 任務JVM重用
6.5 -3跳過壞記錄
6.5.4 任務執(zhí)行環(huán)境

第7章 MapReduce的類型與格式
7.1 MapReduce類型
7.2 輸入格式
7.2.1 輸入分片與記錄
7.2.2 文本輸入
7.2.3 二進制輸入
7.2.4 多種輸入
……
第8章 MapReduce特性
第9章 Hadoop集群的安裝
第10章 Hadoop的管理
第11章 Pig簡介
第12章 Hbase簡介
第13章 ZooKeeper簡介
第14章 案例研究
附錄A
附錄B
附錄C

本目錄推薦

掃描二維碼
Copyright ? 讀書網(wǎng) www.talentonion.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號 鄂公網(wǎng)安備 42010302001612號