大數據技術概論（微課版）

項目1 認識大數據 1
任務1.1 大數據時代 2
1.1.1 大數據時代的來臨 2
1.1.2 大數據時代的發(fā)展 5
【任務評估】 9
任務1.2 什么是大數據 11
1.2.1 大數據的定義 11
1.2.2 大數據的特征 12
1.2.3 大數據的結構類型 13
1.2.4 數據科學與大數據 14
【任務評估】 15
任務1.3 大數據與其他新興技術 17
1.3.1 云計算 17
1.3.2 物聯(lián)網 19
1.3.3 人工智能 20
【任務評估】 21
項目總結 23
項目拓展訓練 23
項目評價 25
項目2 了解大數據產業(yè) 27
任務2.1 區(qū)域大數據發(fā)展水平 28
2.1.1 總體概況 29
2.1.2 基礎環(huán)境 31
2.1.3 產業(yè)發(fā)展 33
2.1.4 行業(yè)應用 34
【任務評估】 37
任務2.2 行業(yè)大數據發(fā)展水平 39
2.2.1 總體評價 39
2.2.2 發(fā)展特點 40
【任務評估】 43
任務2.3 大數據企業(yè)發(fā)展水平 45
2.3.1 大數據企業(yè)榜單 45
2.3.2 大數據企業(yè)細分領域 47
【任務評估】 49
任務2.4 大數據產業(yè)發(fā)展規(guī)劃及
發(fā)展趨勢 51
2.4.1 大數據產業(yè)發(fā)展規(guī)劃 51
2.4.2 大數據產業(yè)發(fā)展趨勢 54
【任務評估】 57
任務2.5 大數據產業(yè)人才需求 59
2.5.1 大數據產業(yè)人才需求概況 59
2.5.2 大數據產業(yè)人才能力要求 60
2.5.3 大數據產業(yè)人才及崗位分類 61
2.5.4 大數據產業(yè)人才與專業(yè)的
關系 61
【任務評估】 63
項目總結 65
項目拓展訓練 65
項目評價 67
項目3 大數據平臺與生態(tài)圈 69
任務3.1 認識Hadoop大數據平臺 70
3.1.1 Hadoop的前世今生 71
3.1.2 Hadoop的特性 73
3.1.3 Hadoop核心組件 73
【任務評估】 79
任務3.2 Hadoop生態(tài)圈 81
3.2.1 Hadoop生態(tài)圈組件 81
3.2.2 Hadoop版本介紹 85
【任務評估】 87
任務3.3 認識Spark技術架構 89
3.3.1 Spark的發(fā)展 89
3.3.2 Spark與Hadoop的區(qū)別 90
3.3.3 Spark的運行架構與運行
流程 91
3.3.4 Spark生態(tài)圈 93
3.3.5 Spark運行模式 94
3.3.6 Spark的應用場景 95
【任務評估】 97
任務3.4 大數據計算架構 99
3.4.1 離線計算架構 99
3.4.2 實時計算架構 100
【任務評估】 103
項目總結 105
項目拓展訓練 105
項目評價 107
項目4 大數據采集 109
任務4.1 了解大數據采集 110
4.1.1 數據采集的概念 110
4.1.2 數據采集的數據源 111
【任務評估】 113
任務4.2 大數據采集的方法與工具 115
4.2.1 日志采集系統(tǒng) 115
4.2.2 網絡數據采集 116
4.2.3 數據庫采集 118
4.2.4 分布式消息訂閱 118
【任務評估】 121
項目總結 123
項目拓展訓練 123
項目評價 125
項目5 大數據存儲 127
任務5.1 大數據存儲概述 128
5.1.1 大數據存儲的概念 128
5.1.2 大數據存儲的類型 129
5.1.3 大數據存儲的關鍵技術 131
【任務評估】 133
任務5.2 大數據存儲的方式 135
5.2.1 分布式存儲 135
5.2.2 數據倉庫 139
5.2.3 NoSQL數據庫 143
5.2.4 NewSQL數據庫 144
5.2.5 云數據庫 145
【任務評估】 147
任務5.3 了解NoSQL數據庫工具 149
5.3.1 HBase 149
5.3.2 MongoDB 150
5.3.3 Redis 153
5.3.4 LevelDB 154
5.3.5 Neo4j 155
【任務評估】 157
任務5.4 大數據安全 159
5.4.1 大數據安全概述 159
5.4.2 大數據安全體系 160
5.4.3 大數據安全關鍵技術 161
5.4.4 大數據安全法律法規(guī) 161
【任務評估】 165
項目總結 167
項目拓展訓練 167
項目評價 169
項目6 大數據預處理 171
任務6.1 認識數據清洗 173
6.1.1 數據清洗的定義 173
6.1.2 數據清洗的原理 173
6.1.3 數據清洗的流程 174
6.1.4 數據清洗的方法 175
6.1.5 認識ETL 180
【任務評估】 183
任務6.2 數據清洗的常用工具 185
6.2.1 Excel 185
6.2.2 Kettle 186
6.2.3 DataCleaner 186
6.2.4 OpenRefine 187
6.2.5 Smartbi 187
【任務評估】 189
任務6.3 數據轉換 191
6.3.1 數據離散化 191
6.3.2 數據平滑 193
6.3.3 屬性構造 194
6.3.4 數據聚合 195
6.3.5 數據規(guī)范化 196
【任務評估】 199
任務6.4 數據標準 201
6.4.1 數據標準的概念 201
6.4.2 數據標準的分類 201
6.4.3 數據標準的管理 202
6.4.4 數據標準與數據資產的
關系 205
【任務評估】 207
任務6.5 數據質量與數據脫敏 209
6.5.1 數據質量的定義 209
6.5.2 數據質量的常見問題 210
6.5.3 數據脫敏 211
【任務評估】 213
項目總結 215
項目拓展訓練 215
項目評價 217
項目7 大數據分析與挖掘 219
任務7.1 大數據分析 220
7.1.1 大數據分析的概念 221
7.1.2 大數據分析的流程 222
7.1.3 大數據分析的方法 222
7.1.4 大數據分析工具庫 225
【任務評估】 229
任務7.2 數據挖掘 231
7.2.1 數據挖掘的概念 231
7.2.2 數據挖掘算法 234
7.2.3 大數據挖掘工具 235
【任務評估】 237
項目總結 239
項目拓展訓練 239
項目評價 241
項目8 大數據可視化 243
任務8.1 數據可視化基礎 244
8.1.1 數據可視化的概念 244
8.1.2 數據可視化的發(fā)展 244
8.1.3 數據可視化的優(yōu)勢 246
8.1.4 數據可視化的方法 247
【任務評估】 249
任務8.2 數據可視化常用圖表 251
8.2.1 常用圖表介紹 251
8.2.2 圖表的選擇與應用 260
【任務評估】 261
任務8.3 大數據可視化常用工具 263
8.3.1 大數據可視化工具 263
8.3.2 大數據可視化開源庫 263
【任務評估】 265
項目總結 267
項目拓展訓練 267
項目評價 269
項目9 中國信創(chuàng)與大數據中臺 271
任務9.1 什么是信創(chuàng) 273
9.1.1 信創(chuàng)的概念 273
9.1.2 信創(chuàng)的發(fā)展歷程 274
【任務評估】 277
任務9.2 信創(chuàng)的現(xiàn)狀和發(fā)展前景 279
9.2.1 信創(chuàng)的現(xiàn)狀 279
9.2.2 信創(chuàng)的發(fā)展前景 282
【任務評估】 285
任務9.3 信創(chuàng)之大數據中臺 287
9.3.1 產品概述 287
9.3.2 產品優(yōu)勢 289
9.3.3 產品架構 291
9.3.4 產品適用場景 293
【任務評估】 297
項目總結 299
項目拓展訓練 299
項目評價 301
項目10 大數據應用綜合平臺
典型案例 303
任務10.1 某市智慧城市建設項目
案例 304
10.1.1 項目背景 304
10.1.2 建設目標 305
10.1.3 技術架構 305
10.1.4 建設成效 306
【任務評估】 309
任務10.2 某市高新區(qū)城市駕駛艙平臺
建設項目案例 311
10.2.1 項目背景 311
10.2.2 建設目標 311
10.2.3 技術架構 311
10.2.4 建設成效 312
【任務評估】 315
任務10.3 養(yǎng)老保險全國統(tǒng)籌數據平臺
建設項目案例 317
10.3.1 項目背景 317
10.3.2 建設目標 317
10.3.3 技術架構 318
10.3.4 建設成效 319
【任務評估】 321
項目總結 323
項目拓展訓練 323
項目評價 325
參考文獻 327