大數(shù)據(jù)技術(shù)與應(yīng)用

目 錄前言 第1章 大數(shù)據(jù)概述1.1 什么是大數(shù)據(jù)1.1.1 大數(shù)據(jù)的定義1.1.2 用3V描述大數(shù)據(jù)的特征1.1.3 廣義的大數(shù)據(jù)1.2 大數(shù)據(jù)的結(jié)構(gòu)類型1.3 大數(shù)據(jù)的發(fā)展1.3.1 硬件性價比提高與軟件技術(shù)進(jìn)步1.3.2 云計(jì)算的普及1.3.3 大數(shù)據(jù)作為BI的進(jìn)化形式1.3.4 從交易數(shù)據(jù)分析到交互數(shù)據(jù)分析1.4 大數(shù)據(jù)技術(shù)的意義1.5 延伸閱讀：得數(shù)據(jù)者得天下1.6 實(shí)驗(yàn)與思考：了解大數(shù)據(jù)及其在線支持第2章 大數(shù)據(jù)的行業(yè)應(yīng)用2.1 奧巴馬的競選大數(shù)據(jù)2.2 大都市的智能交通2.3 互聯(lián)網(wǎng)企業(yè)對大數(shù)據(jù)的運(yùn)用2.4 互聯(lián)網(wǎng)競拍公司eBay2.4.1 超乎尋常的數(shù)據(jù)產(chǎn)生速度2.4.2 eBay的數(shù)據(jù)分析基礎(chǔ)架構(gòu)2.5 游戲分析公司Zynga2.5.1 社交游戲經(jīng)濟(jì)的重要指標(biāo)2.5.2 提高病毒系數(shù)的方法2.5.3 數(shù)據(jù)驅(qū)動游戲2.5.4 三次點(diǎn)擊法則2.6 延伸閱讀：大數(shù)據(jù)正在改變汽車保險2.7 實(shí)驗(yàn)與思考：熟悉大數(shù)據(jù)應(yīng)用第3章 大數(shù)據(jù)的基礎(chǔ)設(shè)施3.1 云端大數(shù)據(jù)3.1.1 什么是云計(jì)算3.1.2 云計(jì)算的服務(wù)形式3.1.3 云計(jì)算與大數(shù)據(jù)3.1.4 云基礎(chǔ)設(shè)施3.1.5 云平臺3.2 計(jì)算虛擬化3.3 存儲虛擬化（大數(shù)據(jù)存儲）3.3.1 傳統(tǒng)存儲系統(tǒng)時代3.3.2 大數(shù)據(jù)時代的新挑戰(zhàn)3.3.3 分布式存儲3.3.4 云存儲及存儲虛擬化3.3.5 大數(shù)據(jù)存儲的其他需求及特點(diǎn)3.4 網(wǎng)絡(luò)虛擬化3.4.1 網(wǎng)卡虛擬化3.4.2 虛擬交換機(jī)3.4.3 接入層的虛擬化3.4.4 覆蓋網(wǎng)絡(luò)虛擬化3.4.5 軟件定義的網(wǎng)絡(luò)（SDN）3.4.6 對大數(shù)據(jù)處理的意義3.5 云環(huán)境基礎(chǔ)架構(gòu)的安全3.6 延伸閱讀：用云數(shù)據(jù)提高農(nóng)業(yè)產(chǎn)量并做出決策3.7 實(shí)驗(yàn)與思考：了解大數(shù)據(jù)的基礎(chǔ)設(shè)施第4章 大數(shù)據(jù)技術(shù)基礎(chǔ)4.1 技術(shù)進(jìn)步與摩爾定律4.2 大數(shù)據(jù)的技術(shù)架構(gòu)4.3 大數(shù)據(jù)的運(yùn)用形式4.4 大數(shù)據(jù)運(yùn)用模式的分類4.4.1 個別優(yōu)化•批處理型4.4.2 個別優(yōu)化•實(shí)時型4.4.3 整體優(yōu)化•批處理型4.4.4 整體優(yōu)化•實(shí)時型4.5 大數(shù)據(jù)的運(yùn)用級別4.5.1 對過去/現(xiàn)狀的把握4.5.2 發(fā)現(xiàn)模式4.5.3 預(yù)測4.5.4 優(yōu)化4.6 大數(shù)據(jù)運(yùn)用的真正價值4.7 相關(guān)的大數(shù)據(jù)技術(shù)4.7.1 神經(jīng)網(wǎng)絡(luò)4.7.2 自然語言處理4.7.3 語義檢索4.7.4 鏈接挖掘4.7.5 A/B測試4.8 延伸閱讀：高科技促使大數(shù)據(jù)互聯(lián)網(wǎng)金融步入快車道4.9 實(shí)驗(yàn)與思考：熟悉大數(shù)據(jù)的技術(shù)基礎(chǔ)第5章 Hadoop分布式架構(gòu)5.1 什么是分布式系統(tǒng)5.2 什么是Hadoop5.2.1 Hadoop的由來5.2.2 Hadoop的優(yōu)勢5.2.3 Hadoop的發(fā)行版本5.2.4 發(fā)行版本眾多的原因5.3 Hadoop架構(gòu)元素5.4 Hadoop集群系統(tǒng)5.5 Hadoop開源實(shí)現(xiàn)5.6 Hadoop信息安全5.7 Hadoop考試認(rèn)證與開源社區(qū)5.8 延伸閱讀：有一家大數(shù)據(jù)公司聲稱要做地球的操作系統(tǒng)5.9 實(shí)驗(yàn)與思考：什么是Hadoop第6章 大數(shù)據(jù)管理6.1 大數(shù)據(jù)的數(shù)據(jù)處理基礎(chǔ)6.2 大數(shù)據(jù)事務(wù)處理（OLTP）6.2.1 傳統(tǒng)OLTP系統(tǒng)6.2.2 NoSQL6.2.3 NewSQL6.3 大數(shù)據(jù)分析處理（OLAP）6.3.1 OLAP與數(shù)據(jù)立方體6.3.2 分布式大規(guī)模批量處理（MapReduce/Hadoop）6.3.3 Hadoop HDFS分布式文件系統(tǒng)6.3.4 MapReduce計(jì)算模型6.3.5 MPP數(shù)據(jù)庫6.3.6 分析型數(shù)據(jù)庫的特征6.4 流數(shù)據(jù)管理（實(shí)時數(shù)據(jù)處理）6.5 自行開發(fā)流數(shù)據(jù)處理技術(shù)6.6 延伸閱讀：“大數(shù)據(jù)時代預(yù)言家”提醒學(xué)校規(guī)避“數(shù)據(jù)獨(dú)裁”6.7 實(shí)驗(yàn)與思考：了解大數(shù)據(jù)管理技術(shù)第7章 大數(shù)據(jù)分析7.1 數(shù)據(jù)分析的演變7.1.1 數(shù)據(jù)分析的商業(yè)驅(qū)動力7.1.2 數(shù)據(jù)分析環(huán)境的演變7.1.3 傳統(tǒng)分析架構(gòu)7.2 大數(shù)據(jù)分析平臺7.2.1 敏捷計(jì)算平臺7.2.2 線性擴(kuò)展能力7.2.3 全方位、遍布式、協(xié)作性用戶體驗(yàn)7.3 大數(shù)據(jù)與數(shù)據(jù)挖掘7.3.1 什么是數(shù)據(jù)挖掘7.3.2 數(shù)據(jù)挖掘解決的商業(yè)問題7.4 數(shù)據(jù)挖掘的高級分析方法7.4.1 分類7.4.2 聚類分析7.4.3 關(guān)聯(lián)規(guī)則7.4.4 回歸分析7.4.5 預(yù)測7.4.6 序列分析7.4.7 偏差分析7.5 數(shù)據(jù)挖掘項(xiàng)目的生命周期7.5.1 商業(yè)問題的形成7.5.2 數(shù)據(jù)收集7.5.3 數(shù)據(jù)清理和轉(zhuǎn)換7.5.4 模型構(gòu)建7.5.5 模型評估7.5.6 報告和預(yù)測7.5.7 應(yīng)用集成7.5.8 模型管理7.6 大數(shù)據(jù)可視化7.6.1 數(shù)據(jù)可視化的運(yùn)用7.6.2 可視化對認(rèn)知的幫助7.6.3 七個數(shù)據(jù)類型7.6.4 七個基本任務(wù)7.6.5 數(shù)據(jù)可視化的挑戰(zhàn)7.7 延伸閱讀：什么是大數(shù)據(jù)分析做不了的？7.8 實(shí)驗(yàn)與思考：了解大數(shù)據(jù)分析技術(shù)第8章 人工智能與機(jī)器學(xué)習(xí)8.1 什么是人工智能8.1.1 人工智能的定義8.1.2 數(shù)據(jù)的相關(guān)性8.1.3 大數(shù)據(jù)中的因果關(guān)系8.2 機(jī)器學(xué)習(xí)及其研究8.2.1 什么是機(jī)器學(xué)習(xí)8.2.2 基本結(jié)構(gòu)8.2.3 研究領(lǐng)域8.3 機(jī)器學(xué)習(xí)的分類8.3.1 基于學(xué)習(xí)策略的分類8.3.2 基于所獲取知識的表示形式的分類8.3.3 按應(yīng)用領(lǐng)域分類8.3.4 按學(xué)習(xí)形式分類8.4 延伸閱讀：ZestFinance公司的金融風(fēng)險平估8.5 實(shí)驗(yàn)與思考：了解人工智能，熟悉機(jī)器學(xué)習(xí)第9章 數(shù)據(jù)科學(xué)與數(shù)據(jù)科學(xué)家9.1 什么是數(shù)據(jù)科學(xué)9.2 數(shù)據(jù)分析生命周期模型9.2.1 模型概述9.2.2 階段1：探索發(fā)現(xiàn)9.2.3 階段2：數(shù)據(jù)準(zhǔn)備9.2.4 階段3：模型規(guī)劃9.2.5 階段4：模型建造9.2.6 階段5：溝通結(jié)果9.2.7 階段6：項(xiàng)目實(shí)施9.3 數(shù)據(jù)科學(xué)家9.3.1 大數(shù)據(jù)生態(tài)系統(tǒng)中的關(guān)鍵角色9.3.2 數(shù)據(jù)科學(xué)家所需的技能9.3.3 數(shù)據(jù)科學(xué)家所需的素質(zhì)9.3.4 數(shù)據(jù)科學(xué)家的學(xué)習(xí)內(nèi)容9.4 延伸閱讀：基于技能的改善數(shù)據(jù)科學(xué)實(shí)踐的方法9.5 實(shí)驗(yàn)與思考：了解數(shù)據(jù)科學(xué)，熟悉數(shù)據(jù)科學(xué)家第10章 開放數(shù)據(jù)的時代10.1 大數(shù)據(jù)時代的隱私問題10.1.1 隱私與創(chuàng)新10.1.2 社交化檔案的是非10.1.3 消費(fèi)者隱私權(quán)法案10.2 連接開放數(shù)據(jù)10.2.1 LOD運(yùn)動10.2.2 對政府公開的影響10.2.3 創(chuàng)業(yè)型公司——綜合氣候保險10.3 數(shù)據(jù)市場的興起10.3.1 Factual10.3.2 Windows Azure Marketplace10.3.3 Infochimps10.3.4 Public Data Sets On AWS10.4 不同的商業(yè)模式10.5 延伸閱讀：美國幾乎可監(jiān)控網(wǎng)民所有的網(wǎng)絡(luò)活動10.6 實(shí)驗(yàn)與思考：了解大數(shù)據(jù)時代 的安全與隱私保護(hù)第11章 大數(shù)據(jù)發(fā)展與展望11.1 大數(shù)據(jù)時代的企業(yè)IT戰(zhàn)略11.2 擁有原創(chuàng)數(shù)據(jù)的優(yōu)勢11.3 供應(yīng)商企業(yè)的新商機(jī)：數(shù)據(jù)聚合商11.3.1 數(shù)據(jù)聚合商的作用11.3.2 誰能成為數(shù)據(jù)聚合商11.4 支付服務(wù)商向數(shù)據(jù)聚合商的演化11.4.1 VISA11.4.2 PayPal11.4.3 美國運(yùn)通11.5 數(shù)據(jù)整合之妙：將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)11.6 大數(shù)據(jù)未來展望11.6.1 大數(shù)據(jù)的存儲和管理11.6.2 傳統(tǒng)IT系統(tǒng)到大數(shù)據(jù)系統(tǒng)的 過渡 11.6.3 大數(shù)據(jù)分析11.6.4 大數(shù)據(jù)安全11.7 延伸閱讀：智能大數(shù)據(jù)分析或 成熱點(diǎn)11.8 課程實(shí)驗(yàn)總結(jié)11.8.1 實(shí)驗(yàn)的基本內(nèi)容11.8.2 實(shí)驗(yàn)的基本評價11.8.3 課程學(xué)習(xí)能力測評11.8.4 大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)驗(yàn)總結(jié)11.8.5 實(shí)驗(yàn)總結(jié)評價（教師）參考文獻(xiàn)