大數(shù)據(jù)技術原理與應用：概念、存儲、處理、分析與應用

第一篇大數(shù)據(jù)基礎第1章大數(shù)據(jù)概述1．1大數(shù)據(jù)時代1．1．1第三次信息化浪潮1．1．2信息科技為大數(shù)據(jù)時代提供技術支撐1．1．3數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的來臨1．1．4大數(shù)據(jù)的發(fā)展歷程1．2大數(shù)據(jù)的概念1．2．1數(shù)據(jù)量大1．2．2數(shù)據(jù)類型繁多1．2．3處理速度快1．2．4價值密度低1．3大數(shù)據(jù)的影響1．3．1大數(shù)據(jù)對科學研究的影響1．3．2大數(shù)據(jù)對思維方式的影響1．3．3大數(shù)據(jù)對社會發(fā)展的影響1．3．4大數(shù)據(jù)對就業(yè)市場的影響1．3．5大數(shù)據(jù)對人才培養(yǎng)的影響1．4大數(shù)據(jù)的應用1．5大數(shù)據(jù)關鍵技術1．6大數(shù)據(jù)計算模式1．6．1批處理計算1．6．2流計算1．6．3圖計算1．6．4查詢分析計算1．7大數(shù)據(jù)產(chǎn)業(yè)1．8大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)1．8．1云計算1．8．2物聯(lián)網(wǎng)1．8．3大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關系1．9本章小結1．10習題第2章大數(shù)據(jù)處理架構Hadoop2．1概述2．1．1Hadoop簡介2．1．2Hadoop的發(fā)展簡史2．1．3Hadoop的特性2．1．4Hadoop的應用現(xiàn)狀2．2Hadoop的項目結構2．2．1Common2．2．2Avro2．2．3HDFS2．2．4HBase2．2．5MapReduce2．2．6Zookeeper2．2．7Hive2．2．8Pig2．2．9Sqoop2．2．10Chukwa2．3Hadoop的安裝與使用2．3．1創(chuàng)建Hadoop用戶2．3．2Java的安裝2．3．3SSH登錄權限設置2．3．4安裝單機Hadoop2．3．5Hadoop偽分布式安裝2．4本章小結2．5習題第二篇大數(shù)據(jù)存儲第3章Hadoop分布式文件系統(tǒng)3．1分布式文件系統(tǒng)3．1．1計算機集群結構3．1．2分布式文件系統(tǒng)的結構3．1．3分布式文件系統(tǒng)的設計需求3．2HDFS簡介3．3HDFS的相關概念3．3．1塊3．3．2名稱節(jié)點和數(shù)據(jù)節(jié)點3．4HDFS體系結構3．4．1概述3．4．2HDFS命名空間管理3．4．3通信協(xié)議3．4．4客戶端3．4．5HDFS體系結構的局限性3．5HDFS的存儲原理3．5．1冗余數(shù)據(jù)的保存3．5．2數(shù)據(jù)存取策略3．5．3數(shù)據(jù)錯誤與恢復3．6HDFS的數(shù)據(jù)讀寫過程3．6．1讀數(shù)據(jù)的過程3．6．2寫數(shù)據(jù)的過程3．7HDFS編程實踐3．7．1HDFS常用命令3．7．2HDFS的Web界面3．7．3HDFS常用JavaAPI及應用實例3．8本章小結3．9習題第4章分布式數(shù)據(jù)庫HBase4．1概述4．1．1從BigTable說起4．1．2HBase簡介4．1．3HBase與傳統(tǒng)關系數(shù)據(jù)庫的對比分析4．2HBase訪問接口4．3HBase數(shù)據(jù)模型4．3．1數(shù)據(jù)模型概述4．3．2數(shù)據(jù)模型的相關概念4．3．3數(shù)據(jù)坐標4．3．4概念視圖4．3．5物理視圖4．3．6面向列的存儲4．4HBase的實現(xiàn)原理4．4．1HBase的功能組件4．4．2表和Region4．4．3Region的定位4．5HBase運行機制4．5．1HBase系統(tǒng)架構4．5．2Region服務器的工作原理4．5．3Store的工作原理4．5．4HLog的工作原理4．6HBase編程實踐4．6．1HBase常用的Shell命令4．6．2HBase常用的JavaAPI及應用實例4．7本章小結4．8習題第5章NoSQL數(shù)據(jù)庫5．1NoSQL簡介5．2NoSQL興起的原因5．2．1關系數(shù)據(jù)庫法滿足Web2．0的需求5．2．2關系數(shù)據(jù)庫的關鍵特性在Web2．時代成為雞肋5．3NoSQL與關系數(shù)據(jù)庫的比較5．4NoSQL的四大類型5．4．1鍵值數(shù)據(jù)庫5．4．2列族數(shù)據(jù)庫5．4．3文檔數(shù)據(jù)庫5．4．4圖形數(shù)據(jù)庫5．5NoSQL的三大基石5．5．1CAP5．5．2BASE5．5．3最終一致性5．6從NoSQL到NewSQL數(shù)據(jù)庫5．7本章小結5．8習題第6章云數(shù)據(jù)庫6．1云數(shù)據(jù)庫概述6．1．1云計算是云數(shù)據(jù)庫興起的基礎6．1．2云數(shù)據(jù)庫的概念6．1．3云數(shù)據(jù)庫的特性6．1．4云數(shù)據(jù)庫是個性化數(shù)據(jù)存儲需求的理想選擇6．1．5云數(shù)據(jù)庫與其他數(shù)據(jù)庫的關系6．2云數(shù)據(jù)庫產(chǎn)品6．2．1云數(shù)據(jù)庫廠商概述6．2．2Amazon的云數(shù)據(jù)庫產(chǎn)品6．2．3Google的云數(shù)據(jù)庫產(chǎn)品6．2．4微軟的云數(shù)據(jù)庫產(chǎn)品6．2．5其他云數(shù)據(jù)庫產(chǎn)品6．3云數(shù)據(jù)庫系統(tǒng)架構6．3．1UMP系統(tǒng)概述6．3．2UMP系統(tǒng)架構6．3．3UMP系統(tǒng)功能6．4云數(shù)據(jù)庫實踐6．4．1阿里云RDS簡介6．4．2RDS中的概念6．4．3購買和使用RDS數(shù)據(jù)庫6．4．4將本地數(shù)據(jù)庫遷移到云端RDS數(shù)據(jù)庫6．5本章小結6．6習題第三篇大數(shù)據(jù)處理與分析第7章MapReduce7．1概述7．1．1分布式并行編程7．1．2MapReduce模型簡介7．1．3Map和Reduce函數(shù)7．2MapReduce的工作流程7．2．1工作流程概述7．2．2MapReduce的各個執(zhí)行階段7．2．3Shuffle過程詳解7．3實例分析：WordCount7．3．1WordCount的程序任務7．3．2WordCount的設計思路7．3．3MapReduce的具體執(zhí)行過程7．3．4一個WordCount執(zhí)行過程的實例7．4MapReduce的具體應用7．4．1MapReduce在關系代數(shù)運算中的應用7．4．2分組與聚合運算7．4．3矩陣-向量乘法7．4．4矩陣乘法7．5MapReduce編程實踐7．5．1任務要求7．5．2編寫Map處理邏輯7．5．3編寫Reduce處理邏輯7．5．4編寫main方法7．5．5編譯打包代碼以及運行程序7．6本章小結7．7習題第8章流計算8．1流計算概述8．1．1靜態(tài)數(shù)據(jù)和流數(shù)據(jù)8．1．2批量計算和實時計算8．1．3流計算的概念8．1．4流計算與Hadoop8．1．5流計算框架8．2流計算的處理流程8．2．1概述8．2．2數(shù)據(jù)實時采集8．2．3數(shù)據(jù)實時計算8．2．4實時查詢服務8．3流計算的應用8．3．1應用場景1：實時分析8．3．2應用場景2：實時交通8．4開源流計算框架Storm8．4．1Storm簡介