大數(shù)據(jù)分析：理論、方法及應(yīng)用

譯者序
前言
第1章　什么是數(shù)據(jù)科學(xué)1
1.1　計(jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)和真正的科學(xué)1
1.2　從數(shù)據(jù)中提出有趣的問(wèn)題3
1.2.1　棒球百科全書(shū)3
1.2.2　互聯(lián)網(wǎng)電影數(shù)據(jù)庫(kù)6
1.2.3　Google Ngrams7
1.2.4　紐約出租車(chē)記錄9
1.3　數(shù)據(jù)的屬性11
1.3.1　結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)11
1.3.2　定量數(shù)據(jù)與類(lèi)別數(shù)據(jù)11
1.3.3　大數(shù)據(jù)與小數(shù)據(jù)12
1.4　分類(lèi)與回歸12
1.5　關(guān)于數(shù)據(jù)科學(xué)的電視節(jié)目：The Quant Shop13
1.6　關(guān)于實(shí)戰(zhàn)故事15
1.7　實(shí)戰(zhàn)故事：回答正確的問(wèn)題16
1.8　章節(jié)注釋17
1.9　練習(xí)17
第2章　數(shù)學(xué)基礎(chǔ)20
2.1　概率20
2.1.1　概率與統(tǒng)計(jì)21
2.1.2　復(fù)合事件與獨(dú)立事件22
2.1.3　條件概率23
2.1.4　概率分布23
2.2　描述性統(tǒng)計(jì)25
2.2.1　中心性度量25
2.2.2　變異性度量26
2.2.3　解釋方差27
2.2.4　描述分布29
2.3　相關(guān)性分析29
2.3.1　相關(guān)系數(shù)：皮爾遜和斯皮爾曼秩30
2.3.2　相關(guān)的強(qiáng)弱與顯著性31
2.3.3　相關(guān)性并不意味著因果關(guān)系33
2.3.4　用自相關(guān)檢測(cè)周期性34
2.4　對(duì)數(shù)35
2.4.1　對(duì)數(shù)與乘法概率35
2.4.2　對(duì)數(shù)和比率35
2.4.3　對(duì)數(shù)與正規(guī)化偏態(tài)分布36
2.5　實(shí)戰(zhàn)故事：契合設(shè)計(jì)師基因37
2.6　章節(jié)注釋39
2.7　練習(xí)39
第3章　數(shù)據(jù)整理42
3.1　數(shù)據(jù)科學(xué)語(yǔ)言42
3.1.1　notebook環(huán)境的重要性44
3.1.2　標(biāo)準(zhǔn)數(shù)據(jù)格式45
3.2　數(shù)據(jù)收集47
3.2.1　搜索47
3.2.2　爬取49
3.2.3　網(wǎng)絡(luò)日志50
3.3　數(shù)據(jù)清洗50
3.3.1　錯(cuò)誤與偽影51
3.3.2　數(shù)據(jù)兼容性52
3.3.3　處理缺失值56
3.3.4　離群值檢測(cè)57
3.4　實(shí)戰(zhàn)故事：打敗市場(chǎng)58
3.5　眾包59
3.5.1　一便士的實(shí)驗(yàn)59
3.5.2　什么時(shí)候有群體智慧60
3.5.3　聚合機(jī)制61
3.5.4　眾包服務(wù)62
3.5.5　游戲化65
3.6　章節(jié)注釋66
3.7　練習(xí)66
第4章　得分和排名69
4.1　體重指數(shù)70
4.2　開(kāi)發(fā)評(píng)分系統(tǒng)72
4.2.1　黃金標(biāo)準(zhǔn)和代理72
4.2.2　排名與得分72
4.2.3　識(shí)別良好的評(píng)分函數(shù)74
4.3　Z得分和歸一化75
4.4　高級(jí)排名技術(shù)76
4.4.1　Elo排名76
4.4.2　合并排名78
4.4.3　基于有向圖的排名80
4.4.4　PageRank80
4.5　實(shí)戰(zhàn)故事：Clyde的復(fù)仇81
4.6　阿羅不可能性定理83
4.7　實(shí)戰(zhàn)故事：誰(shuí)更大84
4.8　章節(jié)注釋87
4.9　練習(xí)87
第5章　統(tǒng)計(jì)分析89
5.1　統(tǒng)計(jì)分布90
5.1.1　二項(xiàng)分布90
5.1.2　正態(tài)分布91
5.1.3　正態(tài)分布的含義93
5.1.4　泊松分布93
5.1.5　冪律分布95
5.2　從分布中采樣97
5.3　統(tǒng)計(jì)顯著性99
5.3.1　顯著性的意義100
5.3.2　t檢驗(yàn)：比較總體均值101
5.3.3　Kolmogorov-Smirnov檢驗(yàn)102
5.3.4　Bonferroni校正104
5.3.5　錯(cuò)誤發(fā)現(xiàn)率104
5.4　實(shí)戰(zhàn)故事：發(fā)現(xiàn)青春之泉105
5.5　置換檢驗(yàn)與p值106
5.5.1　產(chǎn)生隨機(jī)排列108
5.5.2　迪馬吉奧的連勝紀(jì)錄109
5.6　貝葉斯定理110
5.7　章節(jié)注釋111
5.8　練習(xí)111
第6章　數(shù)據(jù)可視化114
6.1　探索性數(shù)據(jù)分析115
6.1.1　面對(duì)新的數(shù)據(jù)集115
6.1.2　匯總統(tǒng)計(jì)量和Anscombe四重線(xiàn)117
6.1.3　可視化工具119
6.2　發(fā)展可視化美學(xué)119
6.2.1　最大化數(shù)據(jù)墨水比率120
6.2.2　最小化謊言因子121
6.2.3　最大限度地減少圖表垃圾122
6.2.4　恰當(dāng)?shù)目s放和標(biāo)注123
6.2.5　有效使用顏色和陰影124
6.2.6　重復(fù)的力量125
6.3　圖表類(lèi)型125
6.3.1　表格數(shù)據(jù)127
6.3.2　點(diǎn)狀圖和折線(xiàn)圖128
6.3.3　散點(diǎn)圖131
6.3.4　條形圖和餅圖133
6.3.5　直方圖135
6.3.6　數(shù)據(jù)地圖137
6.4　出色的可視化139
6.4.1　Marey的火車(chē)時(shí)刻表139
6.4.2　斯諾的霍亂地圖140
6.4.3　紐約氣象年141
6.5　讀圖141
6.5.1　模糊分布141
6.5.2　過(guò)度解釋方差142
6.6　交互式可視化143
6.7　實(shí)戰(zhàn)故事：TextMap144
6.8　章節(jié)注釋146
6.9　練習(xí)146
第7章　數(shù)學(xué)模型149
7.1　建模哲學(xué)149
7.1.1　奧卡姆剃刀原理149
7.1.2　權(quán)衡偏差與方差150
7.1.3　Nate Silver會(huì)怎么做150
7.2　模型分類(lèi)152
7.2.1　線(xiàn)性模型與非線(xiàn)性模型152
7.2.2　黑盒與描述性模型152
7.2.3　第一原理與數(shù)據(jù)驅(qū)動(dòng)模型153
7.2.4　隨機(jī)模型與確定性模型154
7.2.5　平面模型與分層模型155
7.3　基準(zhǔn)模型155
7.3.1　分類(lèi)的基準(zhǔn)模型155
7.3.2　價(jià)值預(yù)測(cè)的基準(zhǔn)模型156
7.4　評(píng)估模型157
7.4.1　評(píng)估分類(lèi)器158
7.4.2　受試者工作特征曲線(xiàn)161
7.4.3　評(píng)估多類(lèi)系統(tǒng)162
7.4.4　評(píng)估價(jià)值預(yù)測(cè)模型164
7.5　評(píng)估環(huán)境165
7.5.1　數(shù)據(jù)衛(wèi)生評(píng)估167
7.5.2　放大小型評(píng)估集167
7.6　實(shí)戰(zhàn)故事：100%準(zhǔn)確169
7.7　模擬模型170
7.8　實(shí)戰(zhàn)故事：經(jīng)過(guò)計(jì)算的賭注170
7.9　章節(jié)注釋1