數(shù)據(jù)流挖掘與在線學習算法

目錄
前言
第1 章 數(shù)據(jù)流機器學習 . 1
1.1 大數(shù)據(jù)的兩種計算模式 .1
1.1.1 大數(shù)據(jù)離線分析 .1
1.1.2 批量處理方法 2
1.1.3 大數(shù)據(jù)實時分析 .3
1.1.4 在線學習方法 4
1.2 離線分析平臺Weka .5
1.2.1 數(shù)據(jù)挖掘和機器學習 5
1.2.2 圖形用戶界面 6
1.2.3 ARFF 格式與示例數(shù)據(jù)集 .8
1.2.4 預處理過濾器 10
1.2.5 屬性選擇 11
1.2.6 可視化 12
1.3 數(shù)據(jù)流挖掘 .14
1.3.1 數(shù)據(jù)流挖掘循環(huán)過程 14
1.3.2 分類器評估 .15
1.3.3 分類方法 16
1.3.4 回歸 .22
1.3.5 聚類 .24
1.3.6 頻繁模式挖掘 27
1.4 數(shù)據(jù)流變化處理方法 30
1.4.1 數(shù)據(jù)流分布統(tǒng)計測試 30
1.4.2 概念漂移數(shù)據(jù)流產(chǎn)生 31
1.4.3 漂移評估與探測 33
1.4.4 自適應滑動窗口 . 34
1.4.5 數(shù)據(jù)流特征高維問題 35
1.4.6 噪音數(shù)據(jù)流處理 . 36
1.5 大規(guī)模在線分析平臺MOA . 37
1.5.1 圖形用戶界面 37
1.5.2 命令行操作 39
1.5.3 數(shù)據(jù)源和數(shù)據(jù)流生成器 . 41
課程實驗1 實驗平臺安裝與操作 44
1.6.1 實驗目的 . 44
1.6.2 實驗環(huán)境 . 44
1.6.3 安裝平臺 . 44
1.6.4 平臺操作 . 47
參考文獻 . 50
第2 章 MOA 平臺機器學習實例 . 52
2.1 MOA 分類 52
2.1.1 MOA 分類器 . 52
2.1.2 樸素貝葉斯增量分類器 . 53
2.1.3 Hoeffding 自適應窗口樹 55
2.1.4 MOA 分類實戰(zhàn)操作 . 57
2.2 集成分類實例 65
2.2.1 裝袋算法 . 65
2.2.2 提升算法 . 66
2.2.3 隨機森林算法 68
2.2.4 MOA 集成實戰(zhàn)操作 . 69
2.3 MOA 聚類 78
2.3.1 MOA 聚類設置 78
2.3.2 DBSCAN 密度聚類 81
2.3.3 Den-Stream 數(shù)據(jù)流聚類 . 82
2.3.4 MOA 聚類實戰(zhàn)操作 . 83
2.4 頻繁閉合項集挖掘算法 . 90
2.4.1 MOA 擴展包 . 90
2.4.2 MOA 加載配置IncMine 擴展包 91
2.4.3 Java 調(diào)用IncMine 對象和選項 92
2.4.4 Eclipse 環(huán)境下開發(fā)IncMine 代碼 93
課程實驗2 數(shù)據(jù)分類 95
2.5.1 實驗目的 95
2.5.2 實驗環(huán)境 96
2.5.3 Weka 分類 96
2.5.4 MOA 分類 99
參考文獻 104
第3 章 數(shù)據(jù)流在線學習模型與典型算法 105
3.1 數(shù)據(jù)流挖掘sketch 105
3.1.1 sketch 概念與包含的操作 105
3.1.2 自適應滑動窗口ADwin 106
3.1.3 數(shù)據(jù)流挖掘幾種代表性sketch . 108
3.2 在線學習定義與類型 . 116
3.2.1 在線學習定義 . 116
3.2.2 在線學習算法類型劃分 117
3.2.3 在線學習常用數(shù)據(jù)集 . 120
3.2.4 集成學習與并行化處理方式 . 124
3.3 基于批次FCIs 的滑動窗口更新 . 126
3.3.1 semi-FCI 概念 . 126
3.3.2 基于批次的IncMine 滑動窗口更新 . 127
3.4 在線低秩表示矩陣更新 128
3.4.1 低秩矩陣模型 . 128
3.4.2 在線更新低秩表示矩陣 129
3.5 在線對偶平均多任務學習框架 130
3.5.1 任務與特征選擇混合范數(shù) 130
3.5.2 特征權重矩陣在線更新 131
3.6 在線－離線結合的數(shù)據(jù)流聚類算法 . 132
3.6.1 層次聚類算法 . 132
3.6.2 基于密度的聚類算法 . 132
3.7 數(shù)據(jù)流微分類器集成檢測概念演變 . 133
3.7.1 微分類器集成 . 133
3.7.2 概念演變檢測與分類 . 134
3.8 在線惰性自適應學習算法 135
3.8.1 雙存儲機制 135
3.8.2 SAM-KNN 分類 135
課程實驗3 數(shù)據(jù)聚類 . 136
3.9.1 實驗目的 136
3.9.2 實驗環(huán)境 136
3.9.3 Weka 聚類 136
3.9.4 MOA 聚類 139
參考文獻 141
第4 章 離線挖掘頻繁閉合項集 . 144
4.1 算法背景 144
4.1.1 離線挖掘頻繁項集 . 144
4.1.2 頻繁閉合項集 145
4.2 Charm 批量挖掘頻繁閉合項集 146
4.2.1 項集-事務集鍵值對 146
4.2.2 Itemset-Tidset 前綴搜索樹 . 147
4.2.3 Charm 處理關系表型數(shù)據(jù) . 148
4.2.4 Charm 偽代碼 148
4.3 程序主類實現(xiàn) 150
4.3.1 Charm 程序組成 150
4.3.2 Main 類代碼 150
4.4 模式分類的性能比較 155
4.4.1 Output 類代碼 155
4.4.2 模式與訓練數(shù)據(jù)集分類 157
4.4.3 抗噪音性能 . 158
課程實驗4 頻繁模式挖掘 . 159
4.5.1 實驗目的 159
4.5.2 實驗環(huán)境 159
4.5.3 Weka 頻繁項與關聯(lián)規(guī)則挖掘 . 160
參考文獻 162
第5 章 頻繁子序列與基因表達數(shù)據(jù)雙向聚類 . 163
5.1 雙向聚類算法 163
5.1.1 單向聚類與全局模式 163
5.1.2 雙聚類與局部模式 . 163
5.2 基因表達保序子矩陣方法與實現(xiàn) . 164
5.2.1 基因表達保序子矩陣 164
5.2.2 頻繁閉合子序列挖掘算法 . 165
5.2.3 Charm_Seq 程序結構 166
5.3 Main 類代碼 167
5.4 AlgoCharm_Bitset 類代碼 171
課程實驗5 基因數(shù)據(jù)局部模式挖掘 . 177
5.5.1 實驗目的 177
5.5.2 實驗環(huán)境 177
5.5.3 輸入基因表達數(shù)據(jù) 178
5.5.4 基因表達值排序 178
5.5.5 基因表達值替換為列標簽 179
5.5.6 挖掘公共閉合子序列 . 180
5.5.7 Charm_Seq 雙向聚類信息 182
參考文獻 183
第6 章 數(shù)據(jù)流顯露模式與貝葉斯分類 184
6.1 基于模式的數(shù)據(jù)流分類方法 . 184
6.1.1 數(shù)據(jù)流分類流程 184
6.1.2 基于模式的數(shù)據(jù)流分類 185
6.2 IncMine 算法 185
6.2.1 算法思想 185
6.2.2 Main 代碼 . 186
6.2.3 IncMine 輸入數(shù)據(jù)流 187
6.3 IncMine 概念漂移檢測 . 189
6.3.1 概念漂移種類 . 189
6.3.2 基于頻繁項集數(shù)量監(jiān)控概念漂移 190
6.4 基于顯露模式的數(shù)據(jù)流貝葉斯分類算法 192
6.4.1 貝葉斯分類與顯露模式 192
6.4.2 關系表型數(shù)據(jù)流半懶惰學習 . 193
6.4.3 實驗結果與分析 195
課程實驗6 IncMine 概念漂移檢測 196
6.5.1 實驗目的 196
6.5.2 實驗環(huán)境 196
6.5.3 命令行方式運行IncMine 196
6.5.4 Eclipse 環(huán)境下IncMine 配置與運行 . 197
6.5.5 合成數(shù)據(jù)流 199
6.5.6 概念漂移檢測 . 200
參考文獻 201
第7 章 在線特征稀疏學習 202
7.1 嵌入式特征選擇 202
7.1.1 特征子集搜索 . 202
7.1.2 L1 正則稀疏化 204
7.1.3 LASSO 的在線學習算法 . 206
7.2 多任務在線學習與特征選擇 207
7.2.1 正則化對偶平均在線學習框架 207
7.2.2 多任務學習時空代價分析 . 209
7.3 多任務加速在線學習算法 . 210
7.3.1 加速的多任務在線學習算法 210
7.3.2 求解權重矩陣的閉式解 211
7.3.3 算法收斂理論分析 . 212
7.4 協(xié)同過濾在線學習 . 215
7.4.1 概率矩陣分解 215
7.4.2 對偶平均加速在線PMF . 216
7.4.3 實驗驗證 218
課程實驗7 KDD Cup99 分類實戰(zhàn) 220
7.5.1 實驗目的 220
7.5.2 實驗環(huán)境 220
7.5.3 數(shù)據(jù)集預處理 221
7.5.4 分類性能比較 225
參考文獻 227
第8 章 低秩表示在線學習 228
8.1 字典學習與稀疏表示 228
8.1.1 字典學習 229
8.1.2 數(shù)據(jù)集字典學習優(yōu)化與求解 230
8.2 低秩子空間學習 231
8.2.1 預備知識 231
8.2.2 魯棒主成分分析 233
8.2.3 低秩矩陣表示 234
8.3 魯棒主成分分析求解 234
8.3.1 RPCA 優(yōu)化表達式 235
8.3.2 RPCA 求解 235
8.3.3 圖像背景建模應用 . 237
8.4 低秩矩陣表示求解 . 237
8.4.1 LRR 優(yōu)化表達式 . 238
8.4.2 LRR 求解 . 238
8.4.3 數(shù)據(jù)表示矩陣Z 稀疏性 239
8.5 結構化增量子空間聚類算法 . 240
8.5.1 靜態(tài)學習階段 . 240
8.5.2 構建相似矩陣 . 241
8.5.3 相似度矩陣的動態(tài)更新 242
8.5.4 結構化增量子空間聚類算法 . 242
8.6 噪音魯棒增量子空間表示算法 243
8.6.1 靜態(tài)子空間結構 243
8.6.2 相似度矩陣的動態(tài)更新 244
8.6.3 噪音魯棒增量子空間表示算法 244
課程實驗8 基于詞袋模型的文本數(shù)據(jù)分類 . 245
8.7.1 實驗目的 245
8.7.2 實驗環(huán)境 245
8.7.3 Weka 文本分類 245
8.7.4 MOA 文本分類 . 249
參考文獻 251
第9 章 可變數(shù)據(jù)流重復類與新類檢測 252
9.1 重復性概念 252
9.1.1 數(shù)據(jù)流分布重現(xiàn) 252
9.1.2 分類器再利用 . 252
9.2 微分類器與ART 聚類 254
9.2.1 微分類器與微簇 254
9.2.2 K 均值聚類 255
9.2.3 ART 聚類 256
9.3 自適應諧振理論ART 256
9.3.1 ART 處理流程 257
9.3.2 網(wǎng)絡學習算法 . 258
9.3.3 ART 聚類示例 259
9.4 微分類器集成與分類 . 263
9.4.1 可變數(shù)據(jù)流構建微分類器集成 264
9.4.2 集成分類與離群點識別 264
9.5 新類檢測 266
9.5.1 U-outliers 定量度量 . 266
9.5.2 新類檢測 267
課程實驗9 K 均值聚類分析 . 267
9.6.1 實驗目的 267
9.6.2 實驗環(huán)境 268
9.6.3 Weka 平臺K 均值聚類 268
9.6.4 MOA 平臺K 均值聚類相關分析 270
參考文獻 273
第10 章 KNN 自適應存儲處理異質(zhì)概念漂移 . 274
10.1 數(shù)據(jù)流測試－訓練交替評估方式 274
10.1.1 交替測試—訓練錯誤評估 274
10.1.2 數(shù)據(jù)流概念漂移種類 275
10.2 自適應存儲模型 276
10.2.1 模型體系結構 276
10.2.2 SAM-KNN 分類 277
10.3 SAM 模型自適應性 . 278
10.3.1 模型參數(shù) . 278
10.3.2 STM 新概念適應性 278
10.3.3 清理與轉化實例操作 279
10.3.4 LTM 聚類壓縮 . 280
10.4 集成SAM-KNN . 280
10.4.1 SAM 在線裝袋 . 280
10.4.2 SAM 集成算法 . 281
10.4.3 參數(shù)對集成分類準確度的影響分析 282
課程實驗10 KNN 分類方法 . 284
10.5.1 實驗目的 . 284
10.5.2 實驗環(huán)境 . 284
10.5.3 Weka 平臺KNN 分類 284
10.5.4 MOA 平臺SAM-KNN 分類 287
參考文獻 289