Clojure數(shù)據(jù)分析秘笈

前言
關(guān)于技術(shù)審校者
第1章　導(dǎo)入分析數(shù)據(jù) 1
1.1　引言 1
1.2　新建項(xiàng)目 1
1.3　將CSV數(shù)據(jù)讀入Incanter數(shù)據(jù)集 2
1.4　將JSON數(shù)據(jù)讀入Incanter數(shù)據(jù)集 4
1.5　使用Incanter讀入Excel數(shù)據(jù) 5
1.6　從JDBC數(shù)據(jù)庫讀取數(shù)據(jù) 6
1.7　將XML數(shù)據(jù)讀入Incanter數(shù)據(jù)集 9
1.8　從網(wǎng)頁表中抓取數(shù)據(jù) 11
1.9　從網(wǎng)頁中抓取文本數(shù)據(jù) 15
1.10　讀取RDF數(shù)據(jù) 17
1.11　使用SPARQL讀取RDF數(shù)據(jù) 20
1.12　整合不同格式的數(shù)據(jù) 24
第2章　清洗和校驗(yàn)數(shù)據(jù) 29
2.1　引言 29
2.2　使用正則表達(dá)式清洗數(shù)據(jù) 30
2.3　使用同義詞映射保持一致性 31
2.4　識(shí)別并去除重復(fù)數(shù)據(jù) 33
2.5　標(biāo)準(zhǔn)化數(shù)字格式 35
2.6　調(diào)整詞頻值的度量 36
2.7　標(biāo)準(zhǔn)化日期和時(shí)間 38
2.8　大數(shù)據(jù)集的延遲處理 40
2.9　大數(shù)據(jù)集抽樣 42
2.10　修正拼寫錯(cuò)誤 43
2.11　解析自定義數(shù)據(jù)格式 46
2.12　使用Valip校驗(yàn)數(shù)據(jù) 49
第3章　使用并發(fā)編程管理復(fù)雜度 51
3.1　引言 51
3.2　使用STM管理程序復(fù)雜度 52
3.3　使用agent管理程序復(fù)雜度 55
3.4　使用commute獲得更好的性能 57
3.5　將agent和STM結(jié)合使用 58
3.6　使用ensure維護(hù)一致性 60
3.7　將安全的副作用引入STM中 63
3.8　使用validator維護(hù)數(shù)據(jù)一致性 65
3.9　使用watcher追蹤處理過程 68
3.10　使用watcher調(diào)試并發(fā)程序 70
3.11　從agent中錯(cuò)誤恢復(fù) 71
3.12　使用sized queue管理輸入 73
第4章　使用并行編程提高性能 74
4.1　引言 74
4.2　使用pmap并行處理 75
4.3　使用Incanter并行處理 77
4.4　將蒙特卡羅模擬進(jìn)行劃分使pmap性能提升 79
4.5　使用模擬退火算法最優(yōu)化分塊大小 83
4.6　使用reducers并行處理 86
4.7　使用reducers生成在線統(tǒng)計(jì) 89
4.8　使用OpenCL和Calx駕馭你的GPU 91
4.9　使用類型提示 94
4.10　使用Criterium制定基準(zhǔn) 96
第5章　使用Cascalog進(jìn)行分布式數(shù)據(jù)處理 100
5.1　引言 100
5.2　使用Cascalog和Hadoop分布式處理 101
5.3　使用Cascalog查詢數(shù)據(jù) 104
5.4　使用Apache HDFS分布數(shù)據(jù) 105
5.5　使用Cascalog解析CSV文件 108
5.6　使用Cascalog執(zhí)行復(fù)雜查詢 110
5.7　使用Cascalog聚合數(shù)據(jù) 112
5.8　定義新Cascalog操作符 113
5.9　組成Cascalog查詢 116
5.10　處理Cascalog工作流中的錯(cuò)誤 118
5.11　使用Cascalog轉(zhuǎn)換數(shù)據(jù) 119
5.12　使用Pallet在云上執(zhí)行Cascalog查詢 120
第6章　使用Incanter數(shù)據(jù)集 126
6.1　引言 126
6.2　加載Incanter樣例數(shù)據(jù)集 126
6.3　將Clojure數(shù)據(jù)結(jié)構(gòu)加載到數(shù)據(jù)集中 127
6.4　使用view交互式查看數(shù)據(jù)集 129
6.5　將數(shù)據(jù)集轉(zhuǎn)換為矩陣 130
6.6　在Incanter中使用infix公式 132
6.7　使用$選擇列 133
6.8　使用$選擇行 135
6.9　使用$where過濾數(shù)據(jù)集 136
6.10　使用$group-by對數(shù)據(jù)分組 138
6.11　將數(shù)據(jù)集另存為CSV和JSON 139
6.12　使用$join進(jìn)行多數(shù)據(jù)集投影 141
第7章　使用Incanter準(zhǔn)備并執(zhí)行統(tǒng)計(jì)數(shù)據(jù)分析 144
7.1　引言 144
7.2　使用$rollup生成匯總統(tǒng)計(jì) 144
7.3　通過變量差別展示變化 146
7.4　調(diào)整變量以簡化變量關(guān)系 148
7.5　使用Incanter Zoo處理時(shí)間序列數(shù)據(jù) 150
7.6　平滑數(shù)據(jù)以降低噪聲 152
7.7　使用bootstrapping驗(yàn)證抽樣統(tǒng)計(jì) 154
7.8　線性關(guān)系建模 156
7.9　非線性關(guān)系建模 158
7.10　多峰貝葉斯分布建模 162
7.11　使用本福德定律找出數(shù)據(jù)錯(cuò)誤 165
第8章　使用Mathematica和R 167
8.1　引言 167
8.2　在Mac OS X和Linux系統(tǒng)中配置Mathematica與Clojuratica的交互環(huán)境 168
8.3　在Windows系統(tǒng)中配置Mathematica與Clojuratica的交互環(huán)境 170
8.4　在Clojuratica中調(diào)用Mathematica函數(shù) 172
8.5　在Clojuratica中向Mathematica發(fā)送矩陣 173
8.6　在Clojuratica中運(yùn)行Mathematica腳本 174
8.7　從Mathematica中創(chuàng)建函數(shù) 175
8.8　在Mathematica中并行處理函數(shù) 176
8.9　配置R與Clojure交互 177
8.10　在Clojure中調(diào)用R的函數(shù) 179
8.11　將向量傳入R 180
8.12　在Clojure中執(zhí)行R文件 181
8.13　在Clojure中使用R繪圖 183
第9章　聚類、分類和使用Weka 185
9.1　引言 185
9.2　將CSV和ARFF文件加載到Weka中 185
9.3　在Weka數(shù)據(jù)集中對列進(jìn)行過濾和重命名 187
9.4　使用K-means聚類發(fā)現(xiàn)成組數(shù)據(jù) 190
9.5　在Weka中尋找層次聚類結(jié)構(gòu) 195
9.6　在Incanter中使用SOM聚類 197
9.7　使用決策樹分類數(shù)據(jù) 199
9.8　使用樸素貝葉斯分類器分類數(shù)據(jù) 201
9.9　使用支持向量機(jī)分類數(shù)據(jù) 203
9.10　使用Apriori算法發(fā)現(xiàn)數(shù)據(jù)中的關(guān)聯(lián) 205
第10章　使用Incanter繪圖 208
10.1　引言 208
10.2　使用Incanter創(chuàng)建散點(diǎn)圖 209
10.3　使用Incanter創(chuàng)建柱形圖 211
10.4　在柱形圖中繪制非數(shù)值型數(shù)據(jù) 212
10.5　使用Incanter創(chuàng)建直方圖 213
10.6　使用Incanter繪制函數(shù) 215
10.7　為Incanter圖表加入方程式 216
10.8　為散點(diǎn)圖加入直線 217
10.9　使用JFreeChart定制圖表 218
10.10　將Incanter圖保存為PNG格式 220
10.11　使用PCA繪制多維數(shù)據(jù) 221
10.12　使用Incanter創(chuàng)建動(dòng)態(tài)圖表 223
第11章　創(chuàng)建網(wǎng)頁圖表 225
11.1　引言 225
11.2　使用Ring和Compojure提供數(shù)據(jù) 226
11.3　使用Hiccup創(chuàng)建HTML網(wǎng)頁 229
11.4　配置和使用ClojureScript 231
11.5　用NVD3創(chuàng)建散點(diǎn)圖 234
11.6　用NVD3創(chuàng)建條形圖 239
11.7　用NVD3創(chuàng)建直方圖 242
11.8　使用力向布局進(jìn)行圖像可視化 244
11.9　用D3創(chuàng)建交互式可視化 248