Hadoop MapReduce性能優(yōu)化

目錄
第1章 了解Hadoop MapReduce 1
1.1 MapReduce模型 1
1.2 Hadoop MapReduce概述 3
1.3 Hadoop MapReduce的工作原理 4
1.4 影響MapReduce性能的因素 5
1.5 小結(jié) 8
第2章 Hadoop參數(shù)概述 9
2.1 研究Hadoop參數(shù) 9
2.1.1 配置文件mapred-site.xml 10
2.1.2 配置文件hdfs-site.xml 15
2.1.3 配置文件core-site.xml 18
2.2 Hadoop MapReduce性能指標(biāo) 19
2.3 性能監(jiān)測(cè)工具 20
2.3.1 用Chukwa監(jiān)測(cè)Hadoop 21
2.3.2 使用Ganglia監(jiān)測(cè)Hadoop 21
2.3.3 使用Nagios監(jiān)測(cè)Hadoop 21
2.4 用Apache Ambari監(jiān)測(cè)Hadoop 22
2.5 小結(jié) 23
第3章 檢測(cè)系統(tǒng)瓶頸 25
3.1 性能調(diào)優(yōu) 25
3.2 創(chuàng)建性能基線(xiàn) 27
3.3 識(shí)別資源瓶頸 30
3.3.1 識(shí)別內(nèi)存瓶頸 30
3.3.2 識(shí)別CPU瓶頸 31
3.3.3 識(shí)別存儲(chǔ)瓶頸 32
3.3.4 識(shí)別網(wǎng)絡(luò)帶寬瓶頸 33
3.4 小結(jié) 34
第4章 識(shí)別資源薄弱環(huán)節(jié) 35
4.1 識(shí)別集群薄弱環(huán)節(jié) 35
4.1.1 檢查Hadoop集群節(jié)點(diǎn)的健康狀況 36
4.1.2 檢查輸入數(shù)據(jù)大小 37
4.1.3 檢查海量I/O和網(wǎng)絡(luò)阻塞 38
4.1.4 檢查并發(fā)任務(wù)不足 39
4.1.5 檢查CPU過(guò)飽和 40
4.2 量化Hadoop集群 41
4.3 正確配置集群 44
4.4 小結(jié) 47
第5章 強(qiáng)化map和reduce任務(wù) 49
5.1 強(qiáng)化map任務(wù) 49
5.1.1 輸入數(shù)據(jù)和塊大小的影響 51
5.1.2 處置小文件和不可拆分文件 51
5.1.3 在Map階段壓縮溢寫(xiě)記錄 53
5.1.4 計(jì)算map任務(wù)的吞吐量 55
5.2 強(qiáng)化reduce任務(wù) 57
5.2.1 計(jì)算reduce任務(wù)的吞吐量 58
5.2.2 改善Reduce執(zhí)行階段 59
5.3 調(diào)優(yōu)map和reduce參數(shù) 60
5.4 小結(jié) 64
第6章 優(yōu)化MapReduce任務(wù) 65
6.1 使用Combiner 65
6.2 使用壓縮技術(shù) 68
6.3 使用正確Writable類(lèi)型 72
6.4 明智地復(fù)用類(lèi)型 74
6.5 優(yōu)化mapper和reducer的代碼 76
6.6 小結(jié) 78
第7章 最佳實(shí)踐與建議 81
7.1 硬件調(diào)優(yōu)與操作系統(tǒng)推薦 81
7.1.1 Hadoop集群檢查表 81
7.1.2 Bios調(diào)優(yōu)檢查表 82
7.1.3 OS配置建議 82
7.2 Hadoop最佳實(shí)踐與建議 83
7.2.1 部署Hadoop 83
7.2.2 Hadoop調(diào)優(yōu)建議 84
7.2.3 使用MapReduce模板類(lèi)代碼 86
7.3 小結(jié) 90