大數(shù)據(jù)分析

第1章大數(shù)據(jù)基礎(chǔ)1
1.1什么是大數(shù)據(jù)4
1.1.1天文學(xué)——信息爆炸的起源5
1.1.2信息爆炸的社會5
1.1.3大數(shù)據(jù)的發(fā)展7
1.1.4大數(shù)據(jù)作為BI的進化形式8
1.2大數(shù)據(jù)的定義9
1.2.1定義大數(shù)據(jù)9
1.2.2大數(shù)據(jù)的3V特征10
1.2.3廣義的大數(shù)據(jù)12
1.3大數(shù)據(jù)的結(jié)構(gòu)類型12
1.4大數(shù)據(jù)應(yīng)用改變生活13
1.4.1在線娛樂14
1.4.2在線廣告14
1.4.3銷售和營銷14
1.4.4數(shù)據(jù)可視化15
1.4.5運營智能15
1.5大數(shù)據(jù)準備度自我評分表16
作業(yè)19第2章大數(shù)據(jù)分析基礎(chǔ)22
2.1大數(shù)據(jù)的影響25
2.2數(shù)據(jù)具有內(nèi)在預(yù)測性27
2.3大數(shù)據(jù)分析的定義27
2.44種數(shù)據(jù)分析方法28
2.4.1描述性分析29
2.4.2診斷性分析30
2.4.3預(yù)測性分析30
2.4.4規(guī)范性分析32
2.4.5關(guān)鍵績效指標33
2.5定性分析與定量分析33
2.6大數(shù)據(jù)分析的行業(yè)作用33
2.6.1大數(shù)據(jù)分析的作用33
2.6.2大數(shù)據(jù)分析的關(guān)鍵應(yīng)用35
2.6.3大數(shù)據(jù)分析的能力分析36
2.6.4大數(shù)據(jù)分析面臨的問題36
作業(yè)38第3章大數(shù)據(jù)分析生命周期40
3.1大數(shù)據(jù)分析生命周期概述43
3.2商業(yè)案例評估44
3.3數(shù)據(jù)標識44
3.4數(shù)據(jù)獲取與過濾44
3.5數(shù)據(jù)提取45
3.6數(shù)據(jù)驗證與清理46
3.7數(shù)據(jù)聚合與表示47
3.8數(shù)據(jù)分析48
3.9數(shù)據(jù)可視化48
3.10分析結(jié)果的使用49
作業(yè)50第4章大數(shù)據(jù)分析基本原則52
4.1大數(shù)據(jù)的現(xiàn)代分析原則54
4.2原則1： 實現(xiàn)商業(yè)價值和影響56
4.3原則2： 專注于最后一千米56
4.4原則3： 持續(xù)改善57
4.5原則4： 加速學(xué)習(xí)能力和執(zhí)行力58
4.6原則5： 差異化分析58
4.7原則6： 嵌入分析59
4.8原則7： 建立現(xiàn)代分析架構(gòu)59
4.9原則8： 構(gòu)建人力因素60
4.10原則9： 利用消費化趨勢60
作業(yè)61第5章構(gòu)建分析路線63
5.1什么是分析路線66
5.1.1商業(yè)競爭3.0時代66
5.1.2創(chuàng)建獨特的分析路線67
5.2第1步： 確定關(guān)鍵業(yè)務(wù)目標69
5.3第2步： 定義價值鏈69
5.4第3步： 頭腦風(fēng)暴分析解決方案機會71
5.4.1應(yīng)用描述71
5.4.2分析手段71
5.5第4步： 描述分析解決方案機會74
5.6第5步： 創(chuàng)建決策模型74
5.7第6步： 評估分析解決方案機會75
5.8第7步： 建立分析路線圖77
5.9第8步： 不斷演進分析路線圖77
作業(yè)77第6章大數(shù)據(jù)分析的運用79
6.1企業(yè)分析的分類81
6.2戰(zhàn)略分析82
6.2.1專案分析83
6.2.2戰(zhàn)略市場細分84
6.2.3經(jīng)濟預(yù)測84
6.2.4業(yè)務(wù)模擬84
6.3管理分析85
6.4運營分析86
6.5科學(xué)分析88
6.6面向客戶的分析89
6.6.1預(yù)測服務(wù)89
6.6.2分析應(yīng)用89
6.6.3消費分析90
6.6.4案例： 大數(shù)據(jù)促進商業(yè)決策91
作業(yè)94第7章大數(shù)據(jù)分析的用例96
7.1什么是用例100
7.2預(yù)測用例101
7.3解釋用例104
7.4預(yù)報用例104
7.5發(fā)現(xiàn)用例106
7.6模擬用例106
7.7優(yōu)化用例107
作業(yè)107第8章預(yù)測分析方法109
8.1預(yù)測分析方法論111
8.2定義業(yè)務(wù)需求113
8.2.1理解業(yè)務(wù)問題113
8.2.2定義應(yīng)對措施113
8.2.3了解誤差成本115
8.2.4確定預(yù)測窗口116
8.2.5評估部署環(huán)境116
8.3建立分析數(shù)據(jù)集117
8.3.1配置數(shù)據(jù)117
8.3.2評估數(shù)據(jù)117
8.3.3調(diào)查異常值118
8.3.4轉(zhuǎn)換數(shù)據(jù)119
8.3.5執(zhí)行基本表操作119
8.3.6處理丟失數(shù)據(jù)120
8.4降維與特征工程120
8.4.1降維120
8.4.2特征工程120
8.4.3特征變換123
8.5建立預(yù)測模型123
8.5.1制訂建模計劃123
8.5.2細分數(shù)據(jù)集124
8.5.3執(zhí)行模型訓(xùn)練計劃125
8.5.4測量模型效果125
8.5.5驗證模型126
8.6部署預(yù)測模型126
8.6.1審查和批準預(yù)測模型127
8.6.2執(zhí)行模型評分127
8.6.3評價模型效果128
8.6.4管理模型資產(chǎn)128
8.7預(yù)測分析軟件系統(tǒng)129
作業(yè)129第9章預(yù)測分析技術(shù)132
9.1關(guān)于預(yù)測分析技術(shù)136
9.2統(tǒng)計分析136
9.3生存分析137
9.4有監(jiān)督和無監(jiān)督學(xué)習(xí)138
9.4.1有監(jiān)督學(xué)習(xí)138
9.4.2無監(jiān)督學(xué)習(xí)140
9.4.3有監(jiān)督和無監(jiān)督學(xué)習(xí)的區(qū)別141
9.5機器學(xué)習(xí)141
9.5.1機器學(xué)習(xí)的思路141
9.5.2異常檢測142
9.5.3過濾144
9.5.4貝葉斯網(wǎng)絡(luò)145
9.5.5文本挖掘146
9.6神經(jīng)網(wǎng)絡(luò)147
9.7深度學(xué)習(xí)149
9.8語義分析151
9.8.1自然語言處理152
9.8.2文本分析152
9.8.3文本處理153
9.8.4語義檢索154
9.8.5A/B測試154
9.9視覺分析155
9.9.1熱點圖156
9.9.2空間數(shù)據(jù)圖156
作業(yè)157第10章大數(shù)據(jù)分析模型161
10.1什么是分析模型169
10.2關(guān)聯(lián)分析模型169
10.2.1回歸分析170
10.2.2關(guān)聯(lián)規(guī)則分析171
10.2.3相關(guān)分析172
10.2.4相關(guān)分析與回歸分析173
10.3分類分析模型173
10.3.1判別分析的原理和方法174
10.3.2基于機器學(xué)習(xí)的分類模型174
10.3.3支持向量機175
10.3.4邏輯回歸176
10.3.5決策樹176
10.3.6k近鄰177
10.3.7隨機森林178
10.3.8樸素貝葉斯180
10.4聚類分析模型180
10.4.1聚類問題分析181
10.4.2聚類分析的分類182
10.4.3聚類有效性的評價183
10.4.4聚類分析方法183
10.4.5聚類分析的應(yīng)用184
10.5結(jié)構(gòu)分析模型184
10.5.1典型的結(jié)構(gòu)分析方法184
10.5.2社團發(fā)現(xiàn)185
10.6文本分析模型185
作業(yè)186第11章用戶角色與分析工具189
11.1用戶角色193
11.1.1超級分析師193
11.1.2數(shù)據(jù)科學(xué)家194
11.1.3業(yè)務(wù)分析師195
11.1.4分析使用者195
11.2分析的成功因素196
11.3分析編程語言197
11.3.1R語言197
11.3.2SAS編程語言199
11.3.3SQL200
11.4業(yè)務(wù)用戶工具201
11.4.1BI的常用技術(shù)201
11.4.2BI工具和方法的發(fā)展歷程202
11.4.3新的分析工具與方法204
11.4.4業(yè)務(wù)工具實例206
作業(yè)208第12章大數(shù)據(jù)分析平臺210
12.1分布式分析217
12.1.1關(guān)于并行計算217
12.1.2并行計算的三種形式218
12.1.3數(shù)據(jù)并行與“正交”218
12.1.4分布式的軟件環(huán)境219
12.2預(yù)測分析架構(gòu)220
12.2.1獨立分析220
12.2.2部分集成分析221
12.2.3基于數(shù)據(jù)庫的分析223
12.2.4基于Hadoop的分析224
12.3Apache Spark分布式分析軟件225
12.4云計算中的分析227
12.4.1公有云和私有云228
12.4.2安全和數(shù)據(jù)移動229
12.5現(xiàn)代SQL平臺229
12.5.1什么是現(xiàn)代SQL平臺230
12.5.2現(xiàn)代SQL平臺區(qū)別于傳統(tǒng)SQL平臺231
12.5.3MPP數(shù)據(jù)庫232
12.5.4SQLonHadoop232
12.5.5NewSQL數(shù)據(jù)庫233
12.5.6現(xiàn)代SQL平臺的發(fā)展233
作業(yè)234第13章社交網(wǎng)絡(luò)與推薦系統(tǒng)236
13.1社交網(wǎng)絡(luò)的定義239
13.1.1社交網(wǎng)絡(luò)的特點240
13.1.2社交網(wǎng)絡(luò)度量241
13.1.3社交網(wǎng)絡(luò)學(xué)習(xí)242
13.2社交網(wǎng)絡(luò)的結(jié)構(gòu)243
13.2.1社交網(wǎng)絡(luò)的統(tǒng)計學(xué)構(gòu)成244
13.2.2社交網(wǎng)絡(luò)的群體形成245
13.2.3圖與網(wǎng)絡(luò)分析246
13.3社交網(wǎng)絡(luò)的關(guān)聯(lián)分析248
13.4推薦系統(tǒng)248
13.4.1推薦系統(tǒng)的概念248
13.4.2推薦方法的組合251
13.4.3推薦系統(tǒng)的評價252
13.5協(xié)同過濾252
13.6推薦方法254
13.6.1基于用戶評價的推薦254
13.6.2基于人的推薦255
13.6.3基于標簽的推薦255
作業(yè)256第14章組織分析團隊258
14.1企業(yè)的分析文化262
14.1.1管理分析團隊的有效因素262
14.1.2繁榮分析的文化共性263
14.2數(shù)據(jù)科學(xué)家（數(shù)據(jù)工作者）264
14.2.1數(shù)據(jù)科學(xué)家角色264
14.2.2分析人才的四種角色264
14.2.3數(shù)據(jù)準備專業(yè)人員266
14.2.4分析程序員266
14.2.5分析經(jīng)理267
14.2.6分析通才268
14.2.7吸引數(shù)據(jù)科學(xué)家269
14.3集中式與分散式分析團隊270
14.4組織分析團隊272
14.4.1卓越中心272
14.4.2首席數(shù)據(jù)官與首席分析官272
14.4.3實驗室團隊273
14.4.4數(shù)據(jù)科學(xué)技能自我評估273
14.5走起，大數(shù)據(jù)分析275
作業(yè)276附錄278
附錄A部分作業(yè)參考答案278
附錄B大數(shù)據(jù)分析課程實踐280
B.1大數(shù)據(jù)幫零售企業(yè)制定促銷策略280
B.2電信公司通過大數(shù)據(jù)分析挽回核心客戶280
B.3大數(shù)據(jù)幫能源企業(yè)設(shè)置發(fā)電機地點281
B.4電商企業(yè)通過大數(shù)據(jù)制定銷售戰(zhàn)略281
B.5案例分析與課程實踐要求281
參考文獻284