Hadoop權威指南：大數(shù)據(jù)的存儲與分析（第4版）

定　價：￥148.00

作　者：	[美] 湯姆，懷特（Tom White）著；王海，華東，劉喻，呂粵海譯
出版社：	清華大學出版社
叢編項：
標　簽：	編程語言與程序設計計算機?網絡

購買這本書可以去

ISBN：	9787302465133	出版時間：	2017-07-01	包裝：	平裝
開本：	16開	頁數(shù)：	732	字數(shù)：

內容簡介

　　本書結合理論和實踐，由淺入深，全方位介紹了Hadoop這一高性能的海量數(shù)據(jù)處理和分析平臺。全書5部分24章，第Ⅰ部分介紹Hadoop基礎知識，主題涉及Hadoop、MapReduce、Hadoop分布式文件系統(tǒng)、YARN、Hadoop的I/O操作。第Ⅱ部分介紹MapReduce，主題包括MapReduce應用開發(fā)；MapReduce的工作機制、MapReduce的類型與格式、MapReduce的特性。第Ⅲ部分介紹Hadoop的運維，主題涉及構建Hadoop集群、管理Hadoop。第Ⅳ部分介紹Hadoop相關開源項目，主題涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三個案例，分別來自醫(yī)療衛(wèi)生信息技術服務商塞納（Cerner）、微軟的人工智能項目ADAM（一種大規(guī)模分布式深度學習框架）和開源項目Cascading（一個新的針對MapReduce的數(shù)據(jù)處理API）。　本書是一本專業(yè)、全面的Hadoop參考書和工具書，闡述了Hadoop生態(tài)圈的新發(fā)展和應用，程序員可以從中探索海量數(shù)據(jù)集的存儲和分析，管理員可以從中了解Hadoop集群的安裝和運維。

作者簡介

　　作者簡介　TomWhite是杰出的Hadoop專家之一。自2007年2月以來，TomWhite一直是ApacheHadoop的提交者（committer），也是Apache軟件基金會的成員。Tom是Cloudera的軟件工程師，他是Cloudera的首批員工，對Apache和Cloudera做出了舉足輕重的貢獻。在此之前，他是一名獨立的Hadoop顧問，幫助公司搭建、使用和擴展Hadoop。他是很多行業(yè)大會的專題演講人，比如ApacheCon、OSCON和Strata。Tom在英國劍橋大學獲得數(shù)學學士學位，在利茲大學獲得科學哲學碩士學位。他目前與家人居住在威爾士?！∽g者簡介　王海博士，解放軍理工大學通信工程學院教授，博導，教研中心主任，長期從事無線自組網網絡的設計與研發(fā)工作，主持國家自然科學基金、國家863計劃課題等多項課題，近5年獲軍隊科技進步二等獎1項，三等獎6項，作為di一發(fā)明人申請國家發(fā)明專利十余項，發(fā)表學術論文50余篇?！∪A東博士，現(xiàn)任南京醫(yī)科大學計算機教研室教師，一直致力于計算機輔助教學的相關技術研究，陸續(xù)開發(fā)了人體解剖學網絡自主學習考試平臺、診斷學自主學習平臺和面向執(zhí)業(yè)醫(yī)師考試的預約化考試平臺等系統(tǒng)，并在各個學科得到廣泛的使用，獲得全國高等學校計算機課件評比一等獎和三等獎各一項。主編、副主編教材兩部，獲發(fā)明專利一項、軟件著作權多項。　劉喻博士，長期從事軟件開發(fā)、軟件測試和軟件工程化管理工作，目前任教于清華大學軟件所?！位浐?，長期從事軍事通信網絡技術研究與軟件開發(fā)工作，先后通過華為光網絡高級工程師認證、思科網絡工程師認證。

圖書目錄

第Ⅰ部分Hadoop基礎知識
第1章初識Hadoop3
1.1數(shù)據(jù)！數(shù)據(jù)！3
1.2數(shù)據(jù)的存儲與分析5
1.3查詢所有數(shù)據(jù)6
1.4不僅僅是批處理7
1.5相較于其他系統(tǒng)的優(yōu)勢8
1.6ApacheHadoop發(fā)展簡史12
1.7本書包含的內容16
第2章關于MapReduce19
2.1氣象數(shù)據(jù)集19
2.2使用Unix工具來分析數(shù)據(jù)21
2.3使用Hadoop來分析數(shù)據(jù)22
2.4橫向擴展31
2.5HadoopStreaming37
第3章Hadoop分布式文件系統(tǒng)42
3.1HDFS的設計42
3.2HDFS的概念44
3.3命令行接口50
3.4Hadoop文件系統(tǒng)52
3.5Java接口56
3.6數(shù)據(jù)流68
3.7通過distcp并行復制76
第4章關于YARN78
4.1剖析YARN應用運行機制79
4.2YARN與MapReduce1相比82
4.3YARN中的調度85
4.4延伸閱讀95
第5章Hadoop的I/O操作96
5.1數(shù)據(jù)完整性96
5.2壓縮99
5.3序列化109
5.4基于文件的數(shù)據(jù)結構127
第Ⅱ部分關于MapReduce
第6章MapReduce應用開發(fā)141
6.1用于配置的API142
6.2配置開發(fā)環(huán)境144
6.3用MRUnit來寫單元測試152
6.4本地運行測試數(shù)據(jù)156
6.5在集群上運行160
6.6作業(yè)調優(yōu)174
6.7MapReduce的工作流176
第7章MapReduce的工作機制184
7.1剖析MapReduce作業(yè)運行
機制184
7.2失敗191
7.3shuffle和排序195
7.4任務的執(zhí)行201
第8章MapReduce的
類型與格式207
8.1MapReduce的類型207
8.2輸入格式218
8.3輸出格式236
第9章MapReduce的特性243
9.1計數(shù)器243
9.2排序252
9.3連接264
9.4邊數(shù)據(jù)分布270
9.5MapReduce庫類276
第Ⅲ部分Hadoop的操作
第10章構建Hadoop集群279
10.1集群規(guī)范280
10.2集群的構建和安裝284
10.3Hadoop配置288
10.4安全性305
10.5利用基準評測程序測試
Hadoop集群311
第11章管理Hadoop314
11.1HDFS314
11.2監(jiān)控327
11.3維護329
第Ⅳ部分Hadoop相關開源項目
第12章關于Avro341
12.1Avro數(shù)據(jù)類型和模式342
12.2內存中的序列化和
反序列化特定API347
12.3Avro數(shù)據(jù)文件349
12.4互操作性351
12.5模式解析352
12.6排列順序354
12.7關于AvroMapReduce356
12.8使用AvroMapReduce
進行排序359
12.9其他語言的Avro362
第13章關于Parquet363
13.1數(shù)據(jù)模型364
13.2Parquet文件格式367
13.3Parquet的配置368
13.4Parquet文件的讀/寫369
13.5ParquetMapReduce374
第14章關于Flume377
14.1安裝Flume378
14.2示例378
14.3事務和可靠性380
14.4HDFSSink382
14.5扇出385
14.6通過代理層分發(fā)387
14.7Sink組391
14.8Flume與應用程序的集成395
14.9組件編目395
14.10延伸閱讀397
第15章關于Sqoop398
15.1獲取Sqoop398
15.2Sqoop連接器400
15.3一個導入的例子401
15.4生成代碼404
15.5深入了解數(shù)據(jù)庫導入405
15.6使用導入的數(shù)據(jù)409
15.7導入大對象412
15.8執(zhí)行導出414
15.9深入了解導出功能416
15.10延伸閱讀419
第16章關于Pig420
16.1安裝與運行Pig421
16.2示例425
16.3與數(shù)據(jù)庫進行比較428
16.4PigLatin429
16.5用戶自定義函數(shù)446
16.6數(shù)據(jù)處理操作455
16.7Pig實戰(zhàn)465
16.8延伸閱讀468
第17章關于Hive469
17.1安裝Hive470
17.2示例472
17.3運行Hive473
17.4Hive與傳統(tǒng)數(shù)據(jù)庫相比480
17.5HiveQL483
17.6表488
17.7查詢數(shù)據(jù)501
17.8用戶定義函數(shù)508
17.9延伸閱讀516
第18章關于Crunch517
18.1示例518
18.2Crunch核心API521
18.3管線執(zhí)行537
18.4Crunch庫545
18.5延伸閱讀547
第19章關于Spark548
19.1安裝Spark549
19.2示例549
19.3彈性分布式數(shù)據(jù)集555
19.4共享變量564
19.5剖析Spark作業(yè)運行機制565
19.6執(zhí)行器和集群管理器570
19.7延伸閱讀574
第20章關于HBase575
20.1HBase基礎575
20.2概念576
20.3安裝581
20.4客戶端584
20.5創(chuàng)建在線查詢應用589
20.6HBase和RDBMS的比較598
20.7Praxis601
20.8延伸閱讀602
第21章關于ZooKeeper604
21.1安裝和運行ZooKeeper605
21.2示例607
21.3ZooKeeper服務615
21.4使用ZooKeeper來構建
應用629
21.5生產環(huán)境中的ZooKeeper640
21.6延伸閱讀643
第Ⅴ部分案例學習
第22章醫(yī)療公司塞納(Cerner)
的可聚合數(shù)據(jù)647
22.1從多CPU到語義集成647
22.2進入ApacheCrunch648
22.3建立全貌649
22.4集成健康醫(yī)療數(shù)據(jù)651
22.5框架之上的可組合性654
22.6下一步655
第23章生物數(shù)據(jù)科學：
用軟件拯救生命657
23.1DNA的結構659
23.2遺傳密碼：將DNA字符
轉譯為蛋白質660
22.3將DNA想象成源代碼661
23.4人類基因組計劃和參考
基因組663
22.5DNA測序和比對664
23.6ADAM，一個可擴展的
基因組分析平臺666
23.7使用Avro接口描述語言進行
自然語言編程666
23.8使用Parquet進行面向列的
存取668
23.9一個簡單例子：用Spark和
ADAM做k-mer計數(shù)669
23.10從個性化廣告到個性化
醫(yī)療672
23.11聯(lián)系我們673
第24章開源項目Cascading674
24.1字段、元組和管道675
24.2操作678
24.3Taps，Schemes和Flows680
24.4Cascading實踐應用681
24.5靈活性684
24.6ShareThis中的Hadoop和
Cascading685
24.7總結689
附錄A安裝ApacheHadoop691
附錄B關于CDH697
附錄C準備NCDC氣象數(shù)據(jù)699
附錄D新版和舊版Java
MapReduceAPI702