數(shù)據(jù)挖掘核心技術(shù)揭秘

目錄
前　言
第一部分　基 礎(chǔ) 知 識
第1章　引言2
　1.1　數(shù)據(jù)挖掘的含義2
　1.2　數(shù)據(jù)挖掘的演變過程3
　1.3　數(shù)據(jù)工具簡介4
1.3.1　Hadoop與MapReduce5
1.3.2　Pig語言8
1.3.3　MATLAB編程9
1.3.4　SAS9
1.3.5　WEKA12
1.3.6　R語言編程12
　1.4　數(shù)據(jù)挖掘應(yīng)用領(lǐng)域13
　1.5　小結(jié)14
第2章　數(shù)學(xué)基礎(chǔ)15
　2.1　概率統(tǒng)計16
2.1.1　基本概念16
2.1.2　隨機(jī)變量及其分布19
　2.2　相似度24
2.2.1　期望與方差25
2.2.2　距離27
2.2.3　相關(guān)系數(shù)31
　2.3　矩陣計算34
　2.4　最小二乘法39
2.4.1　最小二乘法定義39
2.4.2　回歸40
2.4.3　參數(shù)的最小二乘法估計42
第3章　海量數(shù)據(jù)處理技術(shù)46
　3.1　索引技術(shù)46
3.1.1　數(shù)據(jù)庫索引46
3.1.2　文本索引49
　3.2　海量數(shù)據(jù)處理技術(shù)52
3.2.1　外排序53
3.2.2　分布式處理53
3.2.3　Bloom filter54
3.2.4　常用技巧55
第二部分　聚　　類
第4章　聚類58
　4.1　應(yīng)用場景58
4.1.1　語音區(qū)分58
4.1.2　新聞分組59
4.1.3　選定銷售策略59
4.1.4　交通事件預(yù)測59
　4.2　聚類技術(shù)60
4.2.1　劃分聚類61
4.2.2　層次聚類67
4.2.3　基于密度的聚類70
4.2.4　基于網(wǎng)格的聚類72
　4.3　多元分析72
4.3.1　主成分分析法73
4.3.2　因子分析83
4.3.3　對比分析83
第5章　離群點(diǎn)挖掘技術(shù)85
　5.1　應(yīng)用場景85
5.1.1　異常交通事件檢測85
5.1.2　欺詐檢測85
5.1.3　入侵檢測86
5.1.4　異常氣候檢測86
　5.2　離群點(diǎn)挖掘技術(shù)86
5.2.1　基于統(tǒng)計的離群點(diǎn)挖掘技術(shù)87
5.2.2　基于鄰近度的離群點(diǎn)挖掘技術(shù)88
5.2.3　基于密度的離群點(diǎn)挖掘技術(shù)89
5.2.4　基于聚類的離群點(diǎn)挖掘技術(shù)92
5.2.5　高維數(shù)據(jù)的離群點(diǎn)檢測算法93
第三部分　分　　類
第6章　決策樹98
　6.1　應(yīng)用場景98
6.1.1　病情診斷98
6.1.2　信用卡欺詐檢測98
　6.2　決策樹技術(shù)99
6.2.1　概述99
6.2.2　技術(shù)實(shí)現(xiàn)100
6.2.3　多分類決策樹104
6.2.4　參考實(shí)例106
第7章　基于實(shí)例的學(xué)習(xí)108
　7.1　應(yīng)用場景108
7.1.1　機(jī)械裝備的總體設(shè)計108
7.1.2　對新的法律案件的推理109
7.1.3　規(guī)劃或調(diào)度問題109
　7.2　K近鄰算法110
　7.3　K-D樹111
7.3.1　近鄰的實(shí)現(xiàn)：K-D樹111
7.3.2　K-D樹的構(gòu)建112
7.3.3　K-D樹的最近鄰搜索算法113
第8章　支持向量機(jī)115
　8.1　應(yīng)用場景115
8.1.1　病情分類115
8.1.2　動物分類116
　8.2　支持向量機(jī)技術(shù)116
8.2.1　概述116
8.2.2　技術(shù)實(shí)現(xiàn)118
8.2.3　核函數(shù)122
8.2.4　多類分類器124
第9章　貝葉斯學(xué)習(xí)126
　9.1　應(yīng)用場景126
9.1.1　垃圾郵件過濾126
9.1.2　手寫文字識別127
9.1.3　拼寫檢查128
9.1.4　分詞128
9.1.5　語音識別129
9.1.6　股票價格預(yù)測129
9.1.7　病情診斷129
9.1.8　選定銷售策略130
9.1.9　交通事件預(yù)測130
　9.2　貝葉斯學(xué)習(xí)技術(shù)131
9.2.1　概述131
9.2.2　技術(shù)實(shí)現(xiàn)131
9.2.3　參考實(shí)例135
第10章　人工神經(jīng)網(wǎng)絡(luò)138
　10.1　應(yīng)用場景138
10.1.1　信用卡欺詐檢測138
10.1.2　病情診斷139
10.1.3　足球比賽預(yù)測139
10.1.4　圖像姿勢識別139
10.1.5　利用圖像識別的自動駕駛140
10.1.6　人臉識別140
10.1.7　語音分類識別141
　10.2　人工神經(jīng)網(wǎng)絡(luò)技術(shù)142
10.2.1　概述142
10.2.2　技術(shù)實(shí)現(xiàn)142
10.2.3　參考實(shí)例145
第11章　遺傳算法152
　11.1　應(yīng)用場景152
11.1.1　私人定制的電影152
11.1.2　國際象棋學(xué)習(xí)153
11.1.3　電路設(shè)計154
11.1.4　機(jī)器人的模擬控制154
11.1.5　函數(shù)設(shè)計154
11.1.6　唐詩生成器155
11.1.7　音樂生成器155
　11.2　遺傳技術(shù)155
11.2.1　概述155
11.2.2　技術(shù)實(shí)現(xiàn)158
11.2.3　參考實(shí)例：背包問題166
第四部分　回　　歸
第12章　卡爾曼算法170
　12.1　應(yīng)用場景170
12.1.1　股票價格預(yù)測170
12.1.2　GPS定位預(yù)測171
　12.2　卡爾曼技術(shù)171
12.2.1　卡爾曼算法定義171
12.2.2　技術(shù)實(shí)現(xiàn)172
12.2.3　參考實(shí)例：GPS定位175
第五部分　應(yīng)　　用
第13章　推薦系統(tǒng)180
　13.1　應(yīng)用場景181
13.1.1　歌曲推薦181
13.1.2　QQ好友圈子的推薦功能182
13.1.3　今日頭條183
13.1.4　淘寶商品推薦184
13.1.5　Netflix電影推薦184
13.1.6　豆瓣FM的推薦185
13.1.7　為用戶定制的廣告185
13.1.8　蘋果APP排名的規(guī)則186
　13.2　推薦系統(tǒng)技術(shù)186
13.2.1　協(xié)同過濾187
13.2.2　基于內(nèi)容的推薦188
13.2.3　推薦系統(tǒng)的缺陷189
13.2.4　潛在因子算法190
13.2.5　參考實(shí)例：音樂推薦193
附錄A　數(shù)據(jù)挖掘技術(shù)總結(jié)197