大數(shù)據(jù)導(dǎo)論

第１章　大數(shù)據(jù)的基本知識(shí)　1
1.1　大數(shù)據(jù)概述　1
1.1.1　大數(shù)據(jù)的特征　1
1.1.2　大數(shù)據(jù)的意義　3
1.2　大數(shù)據(jù)的數(shù)據(jù)類(lèi)型　6
1.2.1　結(jié)構(gòu)化數(shù)據(jù)　6
1.2.2　非結(jié)構(gòu)化數(shù)據(jù)　6
1.2.3　結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的區(qū)別　7
1.3　大數(shù)據(jù)政策　7
1.3.1　國(guó)外的大數(shù)據(jù)政策　7
1.3.2　國(guó)內(nèi)的大數(shù)據(jù)政策　9
1.4　小結(jié)　10
1.5　習(xí)題　10
第２章　大數(shù)據(jù)與新一代信息技術(shù)　11
2.1　大數(shù)據(jù)與云計(jì)算　11
2.1.1　云計(jì)算概述　11
2.1.2　大數(shù)據(jù)與云計(jì)算的區(qū)別與聯(lián)系　17
2.2　大數(shù)據(jù)與物聯(lián)網(wǎng)　18
2.2.1　物聯(lián)網(wǎng)概述　18
2.2.2　大數(shù)據(jù)與物聯(lián)網(wǎng)的區(qū)別與聯(lián)系　21
2.3　大數(shù)據(jù)與人工智能　21
2.3.1　人工智能概述　21
2.3.2　大數(shù)據(jù)與人工智能的區(qū)別與聯(lián)系　25
2.4　大數(shù)據(jù)與區(qū)塊鏈　26
2.4.1　區(qū)塊鏈概述　26
2.4.2　大數(shù)據(jù)與區(qū)塊鏈的區(qū)別與聯(lián)系　27
2.5　小結(jié)　28
2.6　習(xí)題　29
第3章　數(shù)據(jù)采集　30
3.1　數(shù)據(jù)采集概述　30
3.1.1　認(rèn)識(shí)數(shù)據(jù)采集　30
3.1.2　數(shù)據(jù)采集的常見(jiàn)方式　31
3.2　數(shù)據(jù)采集平臺(tái)　34
3.2.1　Flume　34
3.2.2　Kafka　35
3.2.3　Logstash　37
3.3　網(wǎng)絡(luò)爬蟲(chóng)　37
3.3.1　認(rèn)識(shí)網(wǎng)絡(luò)爬蟲(chóng)　37
3.3.2　網(wǎng)絡(luò)爬蟲(chóng)的分類(lèi)及特點(diǎn)　40
3.3.3　網(wǎng)絡(luò)爬蟲(chóng)的道德規(guī)范與法律風(fēng)險(xiǎn)　41
3.4　小結(jié)　42
3.5　習(xí)題　43
第4章　大數(shù)據(jù)存儲(chǔ)　44
4.1　大數(shù)據(jù)存儲(chǔ)概述　44
4.1.1　大數(shù)據(jù)存儲(chǔ)的概念　44
4.1.2　大數(shù)據(jù)存儲(chǔ)的分類(lèi)　45
4.2　Hadoop架構(gòu)　48
4.2.1　認(rèn)識(shí)Hadoop架構(gòu)　48
4.2.2　Hadoop的起源與發(fā)展　49
4.2.3　Hadoop生態(tài)組件　51
4.3　NoSQL數(shù)據(jù)庫(kù)　63
4.3.1　認(rèn)識(shí)NoSQL數(shù)據(jù)庫(kù)　63
4.3.2　NoSQL數(shù)據(jù)庫(kù)的分類(lèi)　63
4.4　數(shù)據(jù)倉(cāng)庫(kù)　69
4.4.1　認(rèn)識(shí)數(shù)據(jù)倉(cāng)庫(kù)　70
4.4.2　數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)　73
4.4.3　數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用　73
4.5　小結(jié)　74
4.6　習(xí)題　74
第5章　數(shù)據(jù)清洗　75
5.1　數(shù)據(jù)清洗概述　75
5.1.1　認(rèn)識(shí)數(shù)據(jù)清洗　75
5.1.2　數(shù)據(jù)清洗的流程　77
5.1.3　數(shù)據(jù)質(zhì)量　78
5.2　數(shù)據(jù)清洗的方法　82
5.2.1　處理缺失值　82
5.2.2　處理異常值　83
5.2.3　處理重復(fù)值　85
5.3　數(shù)據(jù)清洗的常用工具　85
5.3.1　Python　85
5.3.2　R　87
5.3.3　Kettle　88
5.3.4　DataCleaner　89
5.4　小結(jié)　91
5.5　習(xí)題　91
第6章　大數(shù)據(jù)分析與挖掘　92
6.1　大數(shù)據(jù)分析概述　92
6.1.1　大數(shù)據(jù)分析的概念　92
6.1.2　大數(shù)據(jù)分析的常用方法　97
6.2　數(shù)據(jù)挖掘　102
6.2.1　認(rèn)識(shí)數(shù)據(jù)挖掘　102
6.2.2　數(shù)據(jù)挖掘的應(yīng)用　104
6.3　數(shù)據(jù)挖掘的常見(jiàn)算法　105
6.3.1　K-Means算法　106
6.3.2　KNN算法　107
6.3.3　樸素貝葉斯算法　108
6.3.4　決策樹(shù)算法　110
6.3.5　支持向量機(jī)算法　112
6.4　小結(jié)　114
6.5　習(xí)題　114
第7章　數(shù)據(jù)可視化　115
7.1　數(shù)據(jù)可視化概述　115
7.1.1　認(rèn)識(shí)數(shù)據(jù)可視化　115
7.1.2　數(shù)據(jù)可視化的類(lèi)型　122
7.2　數(shù)據(jù)可視化的方法　123
7.2.1　文本可視化　123
7.2.2　社交網(wǎng)絡(luò)可視化　125
7.2.3　地理空間可視化　127
7.3　數(shù)據(jù)可視化的常見(jiàn)工具　130
7.3.1　ECharts　130
7.3.2　Excel　133
7.3.3　D3　135
7.3.4　Tableau　137
7.4　小結(jié)　139
7.5　習(xí)題　139
第8章　大數(shù)據(jù)安全與治理　140
8.1　大數(shù)據(jù)安全概述　140
8.1.1　認(rèn)識(shí)數(shù)據(jù)安全　140
8.1.2　大數(shù)據(jù)面臨的安全挑戰(zhàn)　143
8.1.3　大數(shù)據(jù)安全的關(guān)鍵技術(shù)　145
8.2　數(shù)據(jù)治理　151
8.2.1　認(rèn)識(shí)數(shù)據(jù)治理　151
8.2.2　數(shù)據(jù)治理的目標(biāo)　156
8.2.3　數(shù)據(jù)治理的實(shí)現(xiàn)　157
8.3　小結(jié)　169
8.4　習(xí)題　169
第9章　大數(shù)據(jù)的應(yīng)用　170
9.1　農(nóng)業(yè)大數(shù)據(jù)　170
9.1.1　認(rèn)識(shí)農(nóng)業(yè)大數(shù)據(jù)　170
9.1.2　農(nóng)業(yè)大數(shù)據(jù)的關(guān)鍵技術(shù)　173
9.1.3　農(nóng)業(yè)大數(shù)據(jù)的應(yīng)用　177
9.2　工業(yè)大數(shù)據(jù)　179
9.2.1　認(rèn)識(shí)工業(yè)大數(shù)據(jù)　179
9.2.2　工業(yè)大數(shù)據(jù)的關(guān)鍵技術(shù)　181
9.2.3　工業(yè)大數(shù)據(jù)的應(yīng)用　185
9.3　金融大數(shù)據(jù)　187
9.3.1　認(rèn)識(shí)金融大數(shù)據(jù)　187
9.3.2　金融大數(shù)據(jù)的關(guān)鍵技術(shù)　189
9.3.3　金融大數(shù)據(jù)的應(yīng)用　193
9.4　交通大數(shù)據(jù)　194
9.4.1　認(rèn)識(shí)交通大數(shù)據(jù)　194
9.4.2　交通大數(shù)據(jù)的關(guān)鍵因素　197
9.4.3　交通大數(shù)據(jù)的應(yīng)用　199
9.5　小結(jié)　200
9.6　習(xí)題　201
參考文獻(xiàn)　202