大數(shù)據(jù)原理：復(fù)雜信息的準(zhǔn)備、共享和分析

譯者序
前言
作者簡介
第0章　引言1
0.1　大數(shù)據(jù)的定義2
0.2　大數(shù)據(jù)VS小數(shù)據(jù)2
0.3　大數(shù)據(jù)在哪里4
0.4　大數(shù)據(jù)最常見的目的是產(chǎn)生小數(shù)據(jù)5
0.5　機(jī)會6
0.6　大數(shù)據(jù)成為信息宇宙的中心6
第1章　為非結(jié)構(gòu)化數(shù)據(jù)提供結(jié)構(gòu)8
1.1　背景8
1.2　機(jī)器翻譯9
1.3　自動編碼11
1.4　索引14
1.5　術(shù)語提取16
第2章　標(biāo)識、去標(biāo)識和重標(biāo)識19
2.1　背景19
2.2　標(biāo)識符系統(tǒng)的特征20
2.3　注冊唯一對象標(biāo)識符21
2.4　糟糕的標(biāo)識方法24
2.5　在標(biāo)識符中嵌入信息：不推薦25
2.6　單向哈希函數(shù)26
2.7　案例：醫(yī)院登記27
2.8　去標(biāo)識化28
2.9　數(shù)據(jù)清洗29
2.10　重標(biāo)識30
2.11　經(jīng)驗教訓(xùn)31
第3章　本體論和語義學(xué)32
3.1　背景32
3.2　分類：最簡單的本體32
3.3　本體：有多個父類的類34
3.4　分類模型選擇35
3.5　資源描述框架模式簡介38
3.6　本體開發(fā)的常見陷阱40
第4章　內(nèi)省42
4.1　背景42
4.2　自我認(rèn)知42
4.3　可擴(kuò)展標(biāo)記語言44
4.4　meaning簡介45
4.5　命名空間與有意義的聲明集合體46
4.6　資源描述框架三元組47
4.7　映射49
4.8　案例：可信時間戳50
4.9　總結(jié)50
第5章　數(shù)據(jù)集成和軟件互操作性52
5.1　背景52
5.2　調(diào)查標(biāo)準(zhǔn)委員會53
5.3　標(biāo)準(zhǔn)軌跡53
5.4　規(guī)范與標(biāo)準(zhǔn)56
5.5　版本控制58
5.6　合規(guī)問題60
5.7　大數(shù)據(jù)資源接口60
第6章　不變性和永久性62
6.1　背景62
6.2　不變性和標(biāo)識符63
6.3　數(shù)據(jù)對象64
6.4　遺留數(shù)據(jù)65
6.5　數(shù)據(jù)產(chǎn)生數(shù)據(jù)67
6.6　跨機(jī)構(gòu)協(xié)調(diào)標(biāo)識符67
6.7　零知識協(xié)調(diào)68
6.8　管理者的負(fù)擔(dān)69
第7章　測量70
7.1　背景70
7.2　計數(shù)70
7.3　基因計數(shù)72
7.4　處理否定73
7.5　理解控制74
7.6　測量的實(shí)踐意義75
7.7　強(qiáng)迫癥：偉大數(shù)據(jù)管理員的標(biāo)志76
第8章　簡單有效的大數(shù)據(jù)技術(shù)77
8.1　背景77
8.2　觀察數(shù)據(jù)78
8.3　數(shù)據(jù)范圍85
8.4　分母87
8.5　頻率分布89
8.6　均值和標(biāo)準(zhǔn)差92
8.7　估計分析94
8.8　案例：用谷歌Ngram發(fā)現(xiàn)數(shù)據(jù)趨勢95
8.9　案例：預(yù)測觀眾的電影偏好97
第9章　分析99
9.1　背景99
9.2　分析任務(wù)99
9.3　聚類、分類、推薦和建模100
9.3.1　聚類算法100
9.3.2　分類算法101
9.3.3　推薦算法101
9.3.4　建模算法101
9.4　數(shù)據(jù)約簡103
9.5　數(shù)據(jù)標(biāo)準(zhǔn)化和調(diào)整105
9.6　大數(shù)據(jù)軟件：速度和可擴(kuò)展性107
9.7　尋找關(guān)系而非相似之處108
第10章　大數(shù)據(jù)分析中的特殊注意事項111
10.1　背景111
10.2　數(shù)據(jù)搜索理論111
10.3　理論搜索中的數(shù)據(jù)112
10.4　過度擬合113
10.5　巨大的偏差113
10.6　數(shù)據(jù)太多116
10.7　數(shù)據(jù)修復(fù)116
10.8　大數(shù)據(jù)的數(shù)據(jù)子集：不可加和不傳遞117
10.9　其他大數(shù)據(jù)缺陷117
第11章　逐步走進(jìn)大數(shù)據(jù)分析120
11.1　背景120
11.2　步驟1：制定一個問題120
11.3　步驟2：資源評價121
11.4　步驟3：重新制定一個問題121
11.5　步驟4：查詢輸出充分性122
11.6　步驟5：數(shù)據(jù)描述122
11.7　步驟6：數(shù)據(jù)約簡123
11.8　步驟7：必要時選擇算法123
11.9　步驟8：結(jié)果評估和結(jié)論斷言124
11.10　步驟9：結(jié)論審查和驗證125
第12章　失敗127
12.1　背景127
12.2　失敗很常見128
12.3　失敗的標(biāo)準(zhǔn)128
12.4　復(fù)雜性131
12.5　復(fù)雜性何時起作用132
12.6　冗余失敗的情況132
12.7　保護(hù)錢，不保護(hù)無害信息133
12.8　失敗之后134
12.9　案例：癌癥生物醫(yī)學(xué)信息學(xué)網(wǎng)格—遙遠(yuǎn)的橋135
第13章　合法性140
13.1　背景140
13.2　對數(shù)據(jù)的準(zhǔn)確性和合法性負(fù)責(zé)140
13.3　創(chuàng)建、使用和共享資源的權(quán)利141
13.4　因使用標(biāo)準(zhǔn)而招致的版權(quán)和專利侵權(quán)行為143
13.5　對個人的保護(hù)144
13.6　許可問題145
13.7　未經(jīng)許可的數(shù)據(jù)148
13.8　好政策是有力保障150
13.9　案例：哈瓦蘇派的故事151
第14章　社會問題153
14.1　背景153
14.2　大數(shù)據(jù)感知153
14.3　數(shù)據(jù)共享155
14.4　用大數(shù)據(jù)降低成本和提高生產(chǎn)效率158
14.5　公眾的疑慮160
14.6　從自己做起161
14.7　傲慢和夸張162
第15章　未來164
15.1　背景164
15.1.1　大數(shù)據(jù)計算復(fù)雜，需要新一代超級計算機(jī)？165
15.1.2　大數(shù)據(jù)的復(fù)雜程度將超出我們完全理解或信任的能力范圍？166
15.1.3　我們需要用超級計算中的最新技術(shù)訓(xùn)練出一支計算機(jī)科學(xué)家組成的團(tuán)隊嗎？166
15.1.4　大數(shù)據(jù)會創(chuàng)建出那些目前沒有訓(xùn)練程序的新型數(shù)據(jù)專業(yè)人員嗎？166
15.1.5　是否有將數(shù)據(jù)表示方法通過統(tǒng)一的標(biāo)準(zhǔn)規(guī)范化，從而支持跨網(wǎng)絡(luò)大數(shù)據(jù)資源的數(shù)據(jù)集成和軟件互操作性的可能？169
15.1.6　大數(shù)據(jù)將向公眾開放？169
15.1.7　大數(shù)據(jù)弊大于利？170
15.1.8　我們可以預(yù)測大數(shù)據(jù)災(zāi)難會破壞至關(guān)重要的服務(wù)、削弱國家經(jīng)濟(jì)、破壞世界政治的穩(wěn)定嗎？171
15.1.9　大數(shù)據(jù)可以回答那些其他辦法不能解決的問題嗎？171
15.2　后記171
術(shù)語表172
參考文獻(xiàn)188
索引196