大數(shù)據(jù)導(dǎo)論

第1章 概論 1
1.1 什么是大數(shù)據(jù) 1
1.1.1 大數(shù)據(jù)產(chǎn)生的背景 1
1.1.2 大數(shù)據(jù)的概念及特征 5
1.2 大數(shù)據(jù)帶來的變革 7
1.3 大數(shù)據(jù)的價值與挑戰(zhàn) 9
1.3.1 大數(shù)據(jù)的價值 9
1.3.2 大數(shù)據(jù)時代面臨的新挑戰(zhàn) 10
1.4 大數(shù)據(jù)的相關(guān)技術(shù) 12
1.4.1 大數(shù)據(jù)存儲和管理技術(shù) 14
1.4.2 大數(shù)據(jù)分析技術(shù) 20
1.4.3 大數(shù)據(jù)處理工具與平臺 21
1.5 大數(shù)據(jù)的處理流程 22
1.5.1 數(shù)據(jù)抽取與集成 22
1.5.2 數(shù)據(jù)分析 23
1.5.3 數(shù)據(jù)解釋 23
1.5.4 大數(shù)據(jù)處理模型 24
1.6 大數(shù)據(jù)的發(fā)展機(jī)遇 28
習(xí)題 29
第2章 大數(shù)據(jù)存儲 30
2.1 大數(shù)據(jù)存儲概述 30
2.2 傳統(tǒng)的大數(shù)據(jù)存儲系統(tǒng) 30
2.3 分布式文件系統(tǒng) 33
2.3.1 HDFS相關(guān)概念 35
2.3.2 HDFS分布式文件系統(tǒng)的結(jié)構(gòu) 36
2.3.3 HDFS存儲原理 37
2.3.4 HDFS數(shù)據(jù)讀/寫 41
2.4 NoSQL數(shù)據(jù)庫 43
2.4.1 NoSQL的產(chǎn)生 44
2.4.2 NoSQL與RDBMS 45
2.4.3 NoSQL的分類 46
2.4.4 HBase數(shù)據(jù)庫 47
2.4.5 NoSQL與NewSQL 52
習(xí)題 53
第3章 大數(shù)據(jù)處理 55
3.1 多處理器技術(shù) 55
3.2 并行計(jì)算 59
3.3 MapReduce并行計(jì)算技術(shù) 65
3.3.1 MapReduce簡介 65
3.3.2 MapReduce編程模型 68
3.3.3 Hadoop MapReduce 1 73
3.3.4 Yarn/MapReduce2 76
3.3.5 MapReduce性能調(diào)優(yōu) 79
習(xí)題 82
第4章 大數(shù)據(jù)分析 83
4.1 大數(shù)據(jù)分析概述 83
4.1.1 數(shù)據(jù)分析的原則 84
4.1.2 大數(shù)據(jù)分析的特點(diǎn) 84
4.1.3 大數(shù)據(jù)分析路線及流程 85
4.1.4 大數(shù)據(jù)分析技術(shù) 87
4.1.5 大數(shù)據(jù)分析的難點(diǎn) 90
4.2 大數(shù)據(jù)分析模型 91
4.2.1 大數(shù)據(jù)分析模型建立方法 91
4.2.2 分類分析模型 93
4.2.3 關(guān)聯(lián)分析模型 94
4.2.4 聚類分析模型 95
4.3 大數(shù)據(jù)分析算法 98
4.3.1 大數(shù)據(jù)算法概述 99
4.3.2 決策樹算法簡介 101
4.3.3 Apriori算法簡介 105
4.3.4 K-Means算法簡介 109
4.4 大數(shù)據(jù)分析應(yīng)用 111
4.4.1 文本分析 111
4.4.2 情感分析 113
4.4.3 推薦系統(tǒng) 115
4.5 大數(shù)據(jù)分析常用工具 117
習(xí)題 119
第5章 大數(shù)據(jù)可視化 120
5.1 大數(shù)據(jù)可視化技術(shù)概述 120
5.1.1 數(shù)據(jù)可視化簡史 120
5.1.2 數(shù)據(jù)可視化的功能 122
5.1.3 大數(shù)據(jù)可視化簡介 123
5.2 大數(shù)據(jù)可視化技術(shù)基礎(chǔ) 126
5.2.1 數(shù)據(jù)可視化流程 126
5.2.2 數(shù)據(jù)可視化編碼 128
5.2.3 數(shù)據(jù)可視化設(shè)計(jì) 132
5.3 大數(shù)據(jù)可視化應(yīng)用 134
5.3.1 文本可視化 135
5.3.2 社交網(wǎng)絡(luò)可視化 138
5.3.3 日志數(shù)據(jù)可視化 140
5.3.4 地理信息可視化 140
5.3.5 數(shù)據(jù)可視化交互 141
5.4 大數(shù)據(jù)可視化軟件和工具 143
5.4.1 大數(shù)據(jù)可視化軟件分類 143
5.4.2 科學(xué)可視化軟件和工具 144
5.4.3 可視化分析軟件和工具 145
5.4.4 信息可視化軟件和工具 147
習(xí)題 148
第6章 大數(shù)據(jù)應(yīng)用 149
6.1 互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù) 149
6.2 交通大數(shù)據(jù) 153
6.3 醫(yī)療大數(shù)據(jù) 159
6.4 問答系統(tǒng) 164
習(xí)題 169
第7章 大數(shù)據(jù)發(fā)展趨勢與展望 170
7.1 大數(shù)據(jù)安全與隱私保護(hù) 170
7.1.1 數(shù)據(jù)安全與隱私保護(hù)的現(xiàn)狀 170
7.1.2 大數(shù)據(jù)帶來的安全挑戰(zhàn) 171
7.1.3 大數(shù)據(jù)安全與隱私保護(hù)關(guān)鍵技術(shù) 172
7.2 大數(shù)據(jù)共享 174
7.2.1 大數(shù)據(jù)共享面臨的挑戰(zhàn) 174
7.2.2 大數(shù)據(jù)共享的措施與機(jī)制 175
7.3 數(shù)據(jù)科學(xué) 176
7.3.1 數(shù)據(jù)科學(xué)的概念 176
7.3.2 數(shù)據(jù)分析的難題 176
習(xí)題 177
參考文獻(xiàn) 178