大數(shù)據(jù)技術(shù)原理與應(yīng)用：概念、存儲(chǔ)、處理、分析與應(yīng)用

第一篇大數(shù)據(jù)基礎(chǔ)第1章大數(shù)據(jù)概述1．1大數(shù)據(jù)時(shí)代1．1．1第三次信息化浪潮1．1．2信息科技為大數(shù)據(jù)時(shí)代提供技術(shù)支撐1．1．3數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時(shí)代的來(lái)臨1．1．4大數(shù)據(jù)的發(fā)展歷程1．2大數(shù)據(jù)的概念1．2．1數(shù)據(jù)量大1．2．2數(shù)據(jù)類型繁多1．2．3處理速度快1．2．4價(jià)值密度低1．3大數(shù)據(jù)的影響1．3．1大數(shù)據(jù)對(duì)科學(xué)研究的影響1．3．2大數(shù)據(jù)對(duì)思維方式的影響1．3．3大數(shù)據(jù)對(duì)社會(huì)發(fā)展的影響1．3．4大數(shù)據(jù)對(duì)就業(yè)市場(chǎng)的影響1．3．5大數(shù)據(jù)對(duì)人才培養(yǎng)的影響1．4大數(shù)據(jù)的應(yīng)用1．5大數(shù)據(jù)關(guān)鍵技術(shù)1．6大數(shù)據(jù)計(jì)算模式1．6．1批處理計(jì)算1．6．2流計(jì)算1．6．3圖計(jì)算1．6．4查詢分析計(jì)算1．7大數(shù)據(jù)產(chǎn)業(yè)1．8大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)1．8．1云計(jì)算1．8．2物聯(lián)網(wǎng)1．8．3大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系1．9本章小結(jié)1．10習(xí)題第2章大數(shù)據(jù)處理架構(gòu)Hadoop2．1概述2．1．1Hadoop簡(jiǎn)介2．1．2Hadoop的發(fā)展簡(jiǎn)史2．1．3Hadoop的特性2．1．4Hadoop的應(yīng)用現(xiàn)狀2．2Hadoop的項(xiàng)目結(jié)構(gòu)2．2．1Common2．2．2Avro2．2．3HDFS2．2．4HBase2．2．5MapReduce2．2．6Zookeeper2．2．7Hive2．2．8Pig2．2．9Sqoop2．2．10Chukwa2．3Hadoop的安裝與使用2．3．1創(chuàng)建Hadoop用戶2．3．2Java的安裝2．3．3SSH登錄權(quán)限設(shè)置2．3．4安裝單機(jī)Hadoop2．3．5Hadoop偽分布式安裝2．4本章小結(jié)2．5習(xí)題第二篇大數(shù)據(jù)存儲(chǔ)第3章Hadoop分布式文件系統(tǒng)3．1分布式文件系統(tǒng)3．1．1計(jì)算機(jī)集群結(jié)構(gòu)3．1．2分布式文件系統(tǒng)的結(jié)構(gòu)3．1．3分布式文件系統(tǒng)的設(shè)計(jì)需求3．2HDFS簡(jiǎn)介3．3HDFS的相關(guān)概念3．3．1塊3．3．2名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)3．4HDFS體系結(jié)構(gòu)3．4．1概述3．4．2HDFS命名空間管理3．4．3通信協(xié)議3．4．4客戶端3．4．5HDFS體系結(jié)構(gòu)的局限性3．5HDFS的存儲(chǔ)原理3．5．1冗余數(shù)據(jù)的保存3．5．2數(shù)據(jù)存取策略3．5．3數(shù)據(jù)錯(cuò)誤與恢復(fù)3．6HDFS的數(shù)據(jù)讀寫(xiě)過(guò)程3．6．1讀數(shù)據(jù)的過(guò)程3．6．2寫(xiě)數(shù)據(jù)的過(guò)程3．7HDFS編程實(shí)踐3．7．1HDFS常用命令3．7．2HDFS的Web界面3．7．3HDFS常用JavaAPI及應(yīng)用實(shí)例3．8本章小結(jié)3．9習(xí)題第4章分布式數(shù)據(jù)庫(kù)HBase4．1概述4．1．1從BigTable說(shuō)起4．1．2HBase簡(jiǎn)介4．1．3HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的對(duì)比分析4．2HBase訪問(wèn)接口4．3HBase數(shù)據(jù)模型4．3．1數(shù)據(jù)模型概述4．3．2數(shù)據(jù)模型的相關(guān)概念4．3．3數(shù)據(jù)坐標(biāo)4．3．4概念視圖4．3．5物理視圖4．3．6面向列的存儲(chǔ)4．4HBase的實(shí)現(xiàn)原理4．4．1HBase的功能組件4．4．2表和Region4．4．3Region的定位4．5HBase運(yùn)行機(jī)制4．5．1HBase系統(tǒng)架構(gòu)4．5．2Region服務(wù)器的工作原理4．5．3Store的工作原理4．5．4HLog的工作原理4．6HBase編程實(shí)踐4．6．1HBase常用的Shell命令4．6．2HBase常用的JavaAPI及應(yīng)用實(shí)例4．7本章小結(jié)4．8習(xí)題第5章NoSQL數(shù)據(jù)庫(kù)5．1NoSQL簡(jiǎn)介5．2NoSQL興起的原因5．2．1關(guān)系數(shù)據(jù)庫(kù)法滿足Web2．0的需求5．2．2關(guān)系數(shù)據(jù)庫(kù)的關(guān)鍵特性在Web2．時(shí)代成為雞肋5．3NoSQL與關(guān)系數(shù)據(jù)庫(kù)的比較5．4NoSQL的四大類型5．4．1鍵值數(shù)據(jù)庫(kù)5．4．2列族數(shù)據(jù)庫(kù)5．4．3文檔數(shù)據(jù)庫(kù)5．4．4圖形數(shù)據(jù)庫(kù)5．5NoSQL的三大基石5．5．1CAP5．5．2BASE5．5．3最終一致性5．6從NoSQL到NewSQL數(shù)據(jù)庫(kù)5．7本章小結(jié)5．8習(xí)題第6章云數(shù)據(jù)庫(kù)6．1云數(shù)據(jù)庫(kù)概述6．1．1云計(jì)算是云數(shù)據(jù)庫(kù)興起的基礎(chǔ)6．1．2云數(shù)據(jù)庫(kù)的概念6．1．3云數(shù)據(jù)庫(kù)的特性6．1．4云數(shù)據(jù)庫(kù)是個(gè)性化數(shù)據(jù)存儲(chǔ)需求的理想選擇6．1．5云數(shù)據(jù)庫(kù)與其他數(shù)據(jù)庫(kù)的關(guān)系6．2云數(shù)據(jù)庫(kù)產(chǎn)品6．2．1云數(shù)據(jù)庫(kù)廠商概述6．2．2Amazon的云數(shù)據(jù)庫(kù)產(chǎn)品6．2．3Google的云數(shù)據(jù)庫(kù)產(chǎn)品6．2．4微軟的云數(shù)據(jù)庫(kù)產(chǎn)品6．2．5其他云數(shù)據(jù)庫(kù)產(chǎn)品6．3云數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)6．3．1UMP系統(tǒng)概述6．3．2UMP系統(tǒng)架構(gòu)6．3．3UMP系統(tǒng)功能6．4云數(shù)據(jù)庫(kù)實(shí)踐6．4．1阿里云RDS簡(jiǎn)介6．4．2RDS中的概念6．4．3購(gòu)買和使用RDS數(shù)據(jù)庫(kù)6．4．4將本地?cái)?shù)據(jù)庫(kù)遷移到云端RDS數(shù)據(jù)庫(kù)6．5本章小結(jié)6．6習(xí)題第三篇大數(shù)據(jù)處理與分析第7章MapReduce7．1概述7．1．1分布式并行編程7．1．2MapReduce模型簡(jiǎn)介7．1．3Map和Reduce函數(shù)7．2MapReduce的工作流程7．2．1工作流程概述7．2．2MapReduce的各個(gè)執(zhí)行階段7．2．3Shuffle過(guò)程詳解7．3實(shí)例分析：WordCount7．3．1WordCount的程序任務(wù)7．3．2WordCount的設(shè)計(jì)思路7．3．3MapReduce的具體執(zhí)行過(guò)程7．3．4一個(gè)WordCount執(zhí)行過(guò)程的實(shí)例7．4MapReduce的具體應(yīng)用7．4．1MapReduce在關(guān)系代數(shù)運(yùn)算中的應(yīng)用7．4．2分組與聚合運(yùn)算7．4．3矩陣-向量乘法7．4．4矩陣乘法7．5MapReduce編程實(shí)踐7．5．1任務(wù)要求7．5．2編寫(xiě)Map處理邏輯7．5．3編寫(xiě)Reduce處理邏輯7．5．4編寫(xiě)main方法7．5．5編譯打包代碼以及運(yùn)行程序7．6本章小結(jié)7．7習(xí)題第8章流計(jì)算8．1流計(jì)算概述8．1．1靜態(tài)數(shù)據(jù)和流數(shù)據(jù)8．1．2批量計(jì)算和實(shí)時(shí)計(jì)算8．1．3流計(jì)算的概念8．1．4流計(jì)算與Hadoop8．1．5流計(jì)算框架8．2流計(jì)算的處理流程8．2．1概述8．2．2數(shù)據(jù)實(shí)時(shí)采集8．2．3數(shù)據(jù)實(shí)時(shí)計(jì)算8．2．4實(shí)時(shí)查詢服務(wù)8．3流計(jì)算的應(yīng)用8．3．1應(yīng)用場(chǎng)景1：實(shí)時(shí)分析8．3．2應(yīng)用場(chǎng)景2：實(shí)時(shí)交通8．4開(kāi)源流計(jì)算框架Storm8．4．1Storm簡(jiǎn)介