大數(shù)據(jù)：技術(shù)與應(yīng)用實(shí)踐指南（第2版）

目 錄第1章 大數(shù)據(jù)的概念和發(fā)展背景 11.1 大數(shù)據(jù)的發(fā)展背景 11.2 大數(shù)據(jù)的概念和特征 41.2.1 大數(shù)據(jù)的概念 41.2.2 大數(shù)據(jù)的特征 41.3 大數(shù)據(jù)的產(chǎn)生 51.3.1 數(shù)據(jù)產(chǎn)生由企業(yè)內(nèi)部向企業(yè)外部擴(kuò)展 51.3.2 數(shù)據(jù)產(chǎn)生從Web 1.0向Web 2.0、從互聯(lián)網(wǎng)向移動(dòng)互聯(lián)網(wǎng)擴(kuò)展 61.3.3 數(shù)據(jù)產(chǎn)生從計(jì)算機(jī)/互聯(lián)網(wǎng)（IT）向物聯(lián)網(wǎng)（IOT）擴(kuò)展 71.4 數(shù)據(jù)的量級(jí) 71.4.1 數(shù)據(jù)大小的量級(jí) 71.4.2 大數(shù)據(jù)的量級(jí) 81.5 大量不同的數(shù)據(jù)類(lèi)型 81.5.1 按照數(shù)據(jù)結(jié)構(gòu)分類(lèi) 91.5.2 按照產(chǎn)生主體分類(lèi) 121.5.3 按照數(shù)據(jù)作用方式分類(lèi) 131.6 大數(shù)據(jù)的速度 141.7 大數(shù)據(jù)的應(yīng)用價(jià)值 141.8 大數(shù)據(jù)的挑戰(zhàn) 151.8.1 業(yè)務(wù)視角不同帶來(lái)的挑戰(zhàn) 151.8.2 技術(shù)架構(gòu)不同帶來(lái)的挑戰(zhàn) 151.8.3 管理策略不同帶來(lái)的挑戰(zhàn) 16第2章 大數(shù)據(jù)應(yīng)用的業(yè)務(wù)需求 172.1 大數(shù)據(jù)應(yīng)用的業(yè)務(wù)流程 172.1.1 產(chǎn)生數(shù)據(jù) 182.1.2 聚集數(shù)據(jù) 182.1.3 分析數(shù)據(jù) 192.1.4 利用數(shù)據(jù) 192.2 大數(shù)據(jù)應(yīng)用的業(yè)務(wù)價(jià)值 192.2.1 發(fā)現(xiàn)大數(shù)據(jù)的潛在價(jià)值 202.2.2 發(fā)現(xiàn)動(dòng)態(tài)行為數(shù)據(jù)的價(jià)值 202.2.3 實(shí)現(xiàn)大數(shù)據(jù)整合創(chuàng)新的價(jià)值 202.3 各行業(yè)大數(shù)據(jù)應(yīng)用的個(gè)性需求 212.3.1 互聯(lián)網(wǎng)與電子商務(wù)行業(yè) 212.3.2 零售業(yè) 262.3.3 金融業(yè) 282.3.4 政府 312.3.5 醫(yī)療業(yè) 342.3.6 能源業(yè) 352.3.7 制造業(yè) 372.3.8 電信運(yùn)營(yíng)業(yè) 382.3.9 交通業(yè) 402.4 企業(yè)級(jí)大數(shù)據(jù)應(yīng)用的共性需求 422.4.1 客戶分析 422.4.2 績(jī)效分析 462.4.3 欺詐和風(fēng)險(xiǎn)評(píng)估 472.5 以銀行客戶分析為例，分析一個(gè)大數(shù)據(jù)的應(yīng)用場(chǎng)景 48第3章 大數(shù)據(jù)應(yīng)用的總體架構(gòu)和關(guān)鍵技術(shù) 513.1 總體架構(gòu) 513.1.1 業(yè)務(wù)目標(biāo) 513.1.2 架構(gòu)設(shè)計(jì)原則 523.1.3 總體架構(gòu)參考模型 553.1.4 總體架構(gòu)的特點(diǎn) 583.2 大數(shù)據(jù)存儲(chǔ)和處理技術(shù) 593.2.1 Hadoop：分布式存儲(chǔ)和計(jì)算平臺(tái) 593.2.2 HDFS：分布式文件系統(tǒng) 653.2.3 MapReduce：分布式計(jì)算框架 723.2.4 NoSQL：分布式數(shù)據(jù)庫(kù) 983.2.5 MPP：大規(guī)模并行處理系統(tǒng) 1133.2.6 Spark：輕量級(jí)的分布式內(nèi)存計(jì)算系統(tǒng) 1173.2.7 S4和Storm：流計(jì)算框架 1263.2.8 大數(shù)據(jù)存儲(chǔ)和處理技術(shù)的比較分析 1323.3 大數(shù)據(jù)查詢和分析技術(shù) 1333.3.1 Hive：基本的Hadoop查詢和分析 1343.3.2 Hive 2.0：Hive的優(yōu)化和升級(jí) 1443.3.3 實(shí)時(shí)互動(dòng)的SQL：Impala和drill 1473.3.4 基于PostgreSQL的SQL on Hadoop 1533.4 大數(shù)據(jù)高級(jí)分析和可視化技術(shù) 1543.4.1 傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理技術(shù) 1543.4.2 大數(shù)據(jù)對(duì)傳統(tǒng)分析的挑戰(zhàn) 1573.4.3 大數(shù)據(jù)挖掘與高級(jí)分析 1573.4.4 大數(shù)據(jù)挖掘與高級(jí)分析庫(kù) 1623.4.5 非結(jié)構(gòu)化復(fù)雜數(shù)據(jù)分析 1633.4.6 實(shí)時(shí)預(yù)測(cè)分析 1703.4.7 開(kāi)源可視化工具：R語(yǔ)言 1773.4.8 可視化技術(shù) 1853.5 以銀行客戶分析為例的大數(shù)據(jù)應(yīng)用體系架構(gòu) 194第4章 大數(shù)據(jù)與企業(yè)級(jí)應(yīng)用的整合策略 1964.1 大數(shù)據(jù)傳輸、接入、整合和流程管理平臺(tái) 1974.1.1 數(shù)據(jù)傳輸 1974.1.2 數(shù)據(jù)接入 2034.1.3 數(shù)據(jù)整合 2074.1.4 流程管理 2084.2 大數(shù)據(jù)與存儲(chǔ)架構(gòu)的整合 2124.2.1 傳統(tǒng)存儲(chǔ)架構(gòu)比較 2124.2.2 大數(shù)據(jù)平臺(tái)的存儲(chǔ)架構(gòu)的選擇 2144.2.3 集群存儲(chǔ)的發(fā)展 2144.2.4 基于HDFS的集群存儲(chǔ) 2164.2.5 固態(tài)硬盤(pán)（SSD）對(duì)內(nèi)存計(jì)算的支持 2184.2.6 軟件定義存儲(chǔ)（SDS） 2184.2.7 超融合架構(gòu)（HCI） 2204.3 大數(shù)據(jù)與網(wǎng)絡(luò)架構(gòu)的發(fā)展 2204.3.1 統(tǒng)一的以太網(wǎng)結(jié)構(gòu) 2224.3.2 軟件定義網(wǎng)絡(luò)（SDN） 2234.3.3 網(wǎng)絡(luò)功能虛擬化（NFV） 2264.4 大數(shù)據(jù)與虛擬化技術(shù)的整合 2284.5 大數(shù)據(jù)與Docker技術(shù) 2304.5.1 Docker概述 2304.5.2 Docker原理與總體架構(gòu) 2314.5.3 Docker與應(yīng)用程序開(kāi)發(fā)與管理 2374.6 大數(shù)據(jù)與云計(jì)算 2404.7 大數(shù)據(jù)安全 2424.8 以銀行客戶分析為例，分析一個(gè)大數(shù)據(jù)的平臺(tái)整合 244第5章 大數(shù)據(jù)應(yīng)用的實(shí)踐方法與案例 2465.1 實(shí)踐方法論 2465.1.1 業(yè)務(wù)需求定義 2475.1.2 數(shù)據(jù)應(yīng)用現(xiàn)狀分析與標(biāo)桿比較 2485.1.3 大數(shù)據(jù)應(yīng)用架構(gòu)規(guī)劃和設(shè)計(jì) 2495.1.4 大數(shù)據(jù)技術(shù)切入與實(shí)施 2505.1.5 大數(shù)據(jù)試用和評(píng)估 2515.1.6 大數(shù)據(jù)應(yīng)用推廣 2525.2 技術(shù)應(yīng)用案例 2525.2.1 Amazon和Google 2525.2.2 Yahoo 2555.2.3 Amazon 2575.2.4 Facebook 2595.2.5 Twitter 2635.2.6 淘寶網(wǎng) 2645.3 以銀行客戶分析為例的實(shí)施案例分析 2665.3.1 銀行基于大數(shù)據(jù)的客戶分析的業(yè)務(wù)需求 2665.3.2 銀行基于大數(shù)據(jù)的客戶分析的現(xiàn)狀與標(biāo)桿比較 2675.3.3 銀行基于大數(shù)據(jù)的客戶分析的應(yīng)用架構(gòu)規(guī)劃與設(shè)計(jì) 2695.3.4 銀行基于大數(shù)據(jù)的數(shù)據(jù)分析的實(shí)施、試點(diǎn)和推廣 269第6章 大數(shù)據(jù)應(yīng)用的主流解決方案 2706.1 產(chǎn)業(yè)鏈 2706.1.1 國(guó)際大數(shù)據(jù)產(chǎn)業(yè)生態(tài) 2706.1.2 國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)生態(tài) 2736.2 主流廠商解決方案 2746.2.1 Cloundera 2756.2.2 Hortonworks 2766.2.3 MapR 2776.2.4 IBM 2786.2.5 Oracle 2806.2.6 EMC 2816.2.7 Intel 2826.2.8 SAP 2836.2.9 Teradata 285第7章 大數(shù)據(jù)應(yīng)用的未來(lái)挑戰(zhàn)和趨勢(shì) 2867.1 隱私保護(hù) 2867.1.1 法律保護(hù) 2877.1.2 技術(shù)保護(hù) 2897.1.3 理念革新 2907.2 技術(shù)標(biāo)準(zhǔn) 2917.2.1 ISO大數(shù)據(jù)標(biāo)準(zhǔn)化進(jìn)展 2917.2.2 大數(shù)據(jù)基準(zhǔn)和基準(zhǔn)測(cè)試 2937.2.3 大數(shù)據(jù)處理分析標(biāo)準(zhǔn)套件 2967.3 大數(shù)據(jù)治理 2967.3.1 數(shù)據(jù)治理框架 2977.3.2 數(shù)據(jù)質(zhì)量管理 2987.3.3 大數(shù)據(jù)的組織、角色和責(zé)任 2997.4 適應(yīng)商業(yè)社會(huì)的未來(lái)趨勢(shì) 3007.4.1 從產(chǎn)品推銷(xiāo)向數(shù)據(jù)營(yíng)銷(xiāo)的轉(zhuǎn)變 3007.4.2 從流程驅(qū)動(dòng)到分析驅(qū)動(dòng)的轉(zhuǎn)變 3007.4.3 從私有資源到公共服務(wù)的轉(zhuǎn)變 301