大數(shù)據(jù)與商務(wù)分析

目錄
前言
第1章　大數(shù)據(jù)概論　1
1.1　什么是大數(shù)據(jù)　1
1.1.1　大數(shù)據(jù)時(shí)代背景　1
1.1.2　大數(shù)據(jù)的定義　2
1.1.3　大數(shù)據(jù)的特征　5
1.1.4　DIKW模型　6
1.2　大數(shù)據(jù)的產(chǎn)生與來(lái)源　8
1.2.1　信息-物理-社會(huì)融合系統(tǒng)　8
1.2.2　大數(shù)據(jù)的產(chǎn)生方式　9
1.2.3　典型大數(shù)據(jù)來(lái)源　9
1.3　大數(shù)據(jù)時(shí)代的科研范式　13
1.3.1　數(shù)據(jù)科學(xué)　13
1.3.2　數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)　14
1.3.3　計(jì)算社會(huì)科學(xué)　15
1.4　大數(shù)據(jù)人才與組織　16
1.4.1　大數(shù)據(jù)人才　16
1.4.2　大數(shù)據(jù)組織　17
1.5　大數(shù)據(jù)安全與隱私保護(hù)　18
1.5.1　大數(shù)據(jù)安全　18
1.5.2　隱私保護(hù)　20
參考文獻(xiàn)　21
第2章　商務(wù)分析基礎(chǔ)　22
2.1　商務(wù)分析概述　22
2.1.1　什么是商務(wù)分析　22
2.1.2　從商務(wù)智能到商務(wù)分析　23
2.1.3　大數(shù)據(jù)時(shí)代的商務(wù)分析　25
2.2　商務(wù)數(shù)據(jù)分析框架　26
2.2.1　描述性分析　26
2.2.2　預(yù)測(cè)性分析　26
2.2.3　規(guī)范性分析　27
2.3　常用的商務(wù)數(shù)據(jù)分析方法　28
2.3.1　關(guān)聯(lián)分析　28
2.3.2　聚類(lèi)分析　28
2.3.3　分類(lèi)分析　28
2.3.4　回歸分析　29
2.4　商務(wù)數(shù)據(jù)分析流程　29
2.4.1　數(shù)據(jù)分析過(guò)程模型　29
2.4.2　六階段任務(wù)　30
參考文獻(xiàn)　32
第3章　大數(shù)據(jù)管理　33
3.1　結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)　33
3.1.1　結(jié)構(gòu)化數(shù)據(jù)　34
3.1.2　非結(jié)構(gòu)化數(shù)據(jù)　34
3.2　元數(shù)據(jù)管理　35
3.2.1　什么是元數(shù)據(jù)　35
3.2.2　元數(shù)據(jù)如何管理　37
3.3　大數(shù)據(jù)存儲(chǔ)管理　38
3.3.1　傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)　38
3.3.2　數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市　39
3.3.3　NoSQL數(shù)據(jù)庫(kù)　41
3.3.4　Hadoop與MapReduce　42
3.3.5　云計(jì)算與云數(shù)據(jù)管理　44
3.4　數(shù)據(jù)質(zhì)量管理　46
3.4.1　數(shù)據(jù)質(zhì)量維度　46
3.4.2　影響數(shù)據(jù)質(zhì)量的因素　48
3.4.3　數(shù)據(jù)生命周期　49
3.4.4　數(shù)據(jù)質(zhì)量管理方法　50
參考文獻(xiàn)　52
第4章　數(shù)據(jù)預(yù)處理　53
4.1　數(shù)據(jù)清洗　53
4.1.1　缺失數(shù)據(jù)處理　53
4.1.2　噪聲數(shù)據(jù)處理　54
4.2　數(shù)據(jù)集成　55
4.2.1　模式集成問(wèn)題　55
4.2.2　屬性語(yǔ)義差異和結(jié)構(gòu)差異問(wèn)題　55
4.2.3　冗余問(wèn)題　56
4.2.4　數(shù)據(jù)重復(fù)問(wèn)題　56
4.2.5　數(shù)據(jù)沖突問(wèn)題　57
4.3　數(shù)據(jù)轉(zhuǎn)換　57
4.4　數(shù)據(jù)降維　57
4.4.1　維數(shù)災(zāi)難　58
4.4.2　降維方法　59
參考文獻(xiàn)　61
第5章　數(shù)據(jù)探索分析　62
5.1　數(shù)據(jù)描述統(tǒng)計(jì)分析　62
5.1.1　分散趨勢(shì)分析　62
5.1.2　集中趨勢(shì)分析　63
5.1.3　變異分析　63
5.1.4　相關(guān)分析　63
5.2　數(shù)據(jù)可視化　64
5.2.1　數(shù)據(jù)可視化的價(jià)值　64
5.2.2　趨勢(shì)型數(shù)據(jù)可視化　65
5.2.3　對(duì)比型數(shù)據(jù)可視化　68
5.2.4　比例型數(shù)據(jù)可視化　75
5.2.5　分布型數(shù)據(jù)可視化　78
5.2.6　關(guān)系型數(shù)據(jù)可視化　81
5.2.7　地理型數(shù)據(jù)可視化　84
參考文獻(xiàn)　84
第6章　描述性數(shù)據(jù)分析　85
6.1　關(guān)聯(lián)分析　85
6.1.1　頻繁項(xiàng)集　85
6.1.2　關(guān)聯(lián)規(guī)則　85
6.1.3　關(guān)聯(lián)規(guī)則發(fā)現(xiàn)流程　86
6.1.4　Apriori算法　87
6.1.5　FP-growth算法　92
6.1.6　關(guān)聯(lián)規(guī)則評(píng)價(jià)　96
6.2　序列模式分析　98
6.2.1　基本概念　98
6.2.2　序列模式挖掘　99
6.2.3　AprioriAll算法　100
6.2.4　GSP算法　102
6.2.5　FreeSpan算法　102
6.2.6　PrefixSpan算法　102
6.2.7　算法比較　104
6.3　聚類(lèi)分析　105
6.3.1　聚類(lèi)分析方法分類(lèi)　105
6.3.2　劃分聚類(lèi)方法　107
6.3.3　層次聚類(lèi)方法　110
6.3.4　密度聚類(lèi)方法　117
6.3.5　聚類(lèi)性能評(píng)估　120
6.4　離群點(diǎn)檢測(cè)　123
6.4.1　離群點(diǎn)及檢測(cè)方法概述　123
6.4.2　基于統(tǒng)計(jì)的離群點(diǎn)檢測(cè)　125
6.4.3　基于距離的離群點(diǎn)檢測(cè)　126
6.4.4　基于密度的離群點(diǎn)檢測(cè)　127
6.4.5　基于聚類(lèi)的離群點(diǎn)檢測(cè)　128
參考文獻(xiàn)　130
第7章　預(yù)測(cè)性數(shù)據(jù)分析　131
7.1　線性回歸分析　131
7.1.1　一元線性回歸分析　131
7.1.2　多元線性回歸分析　133
7.2　時(shí)間序列分析　135
7.2.1　時(shí)間序列的組成成分　136
7.2.2　平穩(wěn)序列的預(yù)測(cè)　137
7.2.3　趨勢(shì)型序列的預(yù)測(cè)　139
7.2.4　季節(jié)型序列的預(yù)測(cè)　140
7.2.5　時(shí)間序列預(yù)測(cè)方法的選擇　141
7.2.6　復(fù)合型序列的分解預(yù)測(cè)　142
7.3　判別分析　142
7.3.1　判別分析的基本思想　143
7.3.2　兩個(gè)總體的判別分析　144
7.3.3　多個(gè)總體的判別分析　145
7.3.4　應(yīng)用實(shí)例　145
7.4　分類(lèi)算法　147
7.4.1　分類(lèi)的數(shù)學(xué)定義　148
7.4.2　決策樹(shù)　149
7.4.3　貝葉斯分類(lèi)　153
7.4.4　k-*近鄰分類(lèi)　155
7.4.5　人工神經(jīng)網(wǎng)絡(luò)　156
7.4.6　支持向量機(jī)　159
7.5　推薦算法　161
7.5.1　個(gè)性化推薦的基本概念　161
7.5.2　協(xié)同過(guò)濾推薦　161
7.5.3　基于內(nèi)容的推薦　165
7.5.4　基于知識(shí)的推薦　165
7.5.5　基于信任的推薦　167
7.5.6　混合推薦　168
7.5.7　應(yīng)用實(shí)例　170
參考文獻(xiàn)　171
第8章　規(guī)范性數(shù)據(jù)分析　173
8.1　決策分析　173
8.1.1　決策的定義與決策過(guò)程　173
8.1.2　決策問(wèn)題的類(lèi)型　174
8.1.3　決策問(wèn)題的描述　177
8.1.4　決策模型與求解方法　177
8.2　數(shù)據(jù)驅(qū)動(dòng)的決策　179
8.2.1　數(shù)據(jù)文化　180
8.2.2　數(shù)據(jù)驅(qū)動(dòng)型決策的步驟　181
8.2.3　大數(shù)據(jù)驅(qū)動(dòng)的管理決策范式與框架　182
8.3　決策支持系統(tǒng)　185
8.3.1　決策支持系統(tǒng)的組件　186
8.3.2　新一代決策支持系統(tǒng)　187
8.4　商務(wù)智能系統(tǒng)　188
8.4.1　商務(wù)智能系統(tǒng)的主要功能　188
8.4.2　商務(wù)智能系統(tǒng)的體系架構(gòu)　189
8.5　知識(shí)管理系統(tǒng)　190
8.5.1　知識(shí)系統(tǒng)的工作過(guò)程　191
8.5.2　知識(shí)系統(tǒng)的功能與結(jié)構(gòu)　191
8.6　個(gè)性化推薦系統(tǒng)　195
8.6.1　推薦系統(tǒng)的工作原理與構(gòu)成　195
8.6.2　推薦系統(tǒng)的架構(gòu)　196
8.7　收益管理系統(tǒng)　198
8.7.1　收益管理理論　198
8.7.2　收益管理系統(tǒng)的體系架構(gòu)　200
8.7.3　收益管理優(yōu)化算例　201
參考文獻(xiàn)　202
第9章　非結(jié)構(gòu)化數(shù)據(jù)分析　203
9.1　Web數(shù)據(jù)分析　203
9.1.1　Web數(shù)據(jù)分析任務(wù)　203
9.1.2　Web挖掘的基本流程　205
9.1.3　Web信息爬取　206
9.1.4　Web結(jié)構(gòu)挖掘　212
9.1.5　Web觀點(diǎn)挖掘　215
9.1.6　Web使用挖掘　220
9.2　文本數(shù)據(jù)分析　222
9.2.1　預(yù)處理技術(shù)　222
9.2.2　文本表示　228
9.2.3　文本聚類(lèi)　235
9.2.4　文本分類(lèi)　238
9.3　圖數(shù)據(jù)分析　239
9.3.1　圖的基礎(chǔ)知識(shí)　239
9.3.2　二分圖匹配　243
9.3.3　頻繁子圖挖掘　245
9.3.4　圖聚類(lèi)　249
參考文獻(xiàn)　254