數(shù)據(jù)科學(xué)理論與實踐

第1章基礎(chǔ)理論
如何開始學(xué)習(xí)
1.1術(shù)語定義
1.2研究目的
1.3發(fā)展簡史
1.4理論體系
1.5基本原則
1.6數(shù)據(jù)科學(xué)家
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻
第2章理論基礎(chǔ)
如何開始學(xué)習(xí)
2.1數(shù)據(jù)科學(xué)的學(xué)科地位
2.2統(tǒng)計學(xué)
2.3機器學(xué)習(xí)
2.4數(shù)據(jù)可視化
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻
第3章流程與方法
如何開始學(xué)習(xí)
3.1基本流程
3.2數(shù)據(jù)加工
3.3數(shù)據(jù)審計
3.4數(shù)據(jù)分析
3.5數(shù)據(jù)可視化
3.6數(shù)據(jù)故事化
3.7項目管理
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻
第4章技術(shù)與工具
如何開始學(xué)習(xí)
4.1技術(shù)體系
4.2MapReduce
4.3Hadoop
4.4Spark
4.5NoSQL與NewSQL
4.6R與Python
4.7發(fā)展趨勢
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻
第5章數(shù)據(jù)產(chǎn)品及開發(fā)
如何開始學(xué)習(xí)
5.1定義
5.2主要特征
5.3關(guān)鍵活動
5.4數(shù)據(jù)柔術(shù)
5.5數(shù)據(jù)能力
5.6數(shù)據(jù)戰(zhàn)略
5.7數(shù)據(jù)治理
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻
第6章典型案例及實踐
如何開始學(xué)習(xí)
6.12012年美國總統(tǒng)大選
6.2統(tǒng)計分析
6.3機器學(xué)習(xí)
6.4數(shù)據(jù)可視化
6.5SparkR編程
如何繼續(xù)學(xué)習(xí)
習(xí)題
參考文獻
附錄AR語言學(xué)習(xí)筆記與參考手冊
學(xué)習(xí)與參考指南
1. R變量定義方法
2. R語句的寫法
3. R中的賦值語句
4. R的文件讀寫路徑——當(dāng)前工作目錄
5. R的變量查找機制——搜索路徑
6. R中查看幫助的方法
7. R區(qū)分大小寫字母
8. R的注釋
9. R的語句
10. R中的變量命名規(guī)范
11. R中的關(guān)鍵字/保留字
12. R中的默認(rèn)數(shù)據(jù)類型
13. R中數(shù)據(jù)類型的判斷與強制類型轉(zhuǎn)換
14. R中的向量
15. R中的列表
16. R中的數(shù)據(jù)框
17. R中的因子類型
18. R中的循環(huán)語句
19. R中的選擇語句
20. R中的特殊運算符
21. R中的快速生成數(shù)列的方法
22. R中自定義函數(shù)
23. R中常用的數(shù)學(xué)函數(shù)
24. R中的字符串處理函數(shù)
25. R中的常用統(tǒng)計函數(shù)
26. R中的隨機數(shù)
27. R包的用法
28. R中的矩陣
29. R中的數(shù)組
30. R中的面向?qū)ο缶幊?br />31. R中的S4類
32. R中的數(shù)據(jù)可視化
33. R的輸入輸出
34. R中的正則表達式
35. R的數(shù)據(jù)集
36. R第三方包——R的靈魂
37. 基于R的數(shù)據(jù)加工
附錄B數(shù)據(jù)科學(xué)的重要資源
1. 學(xué)術(shù)期刊
2. 國際會議
3. 研究機構(gòu)
4. 課程資源
5. 碩士學(xué)位項目
6. 專家學(xué)者
7. 相關(guān)工具
附錄C術(shù)語索引
后記
圖目錄
圖11DIKW金字塔2
圖12數(shù)據(jù)與數(shù)值的區(qū)別3
圖13大數(shù)據(jù)的本質(zhì)4
圖14大數(shù)據(jù)的特征5
圖15DIKUW模型及應(yīng)用8
圖16數(shù)據(jù)洞見8
圖17業(yè)務(wù)數(shù)據(jù)化與數(shù)據(jù)業(yè)務(wù)化9
圖18常用驅(qū)動方式9
圖19數(shù)據(jù)的層次性9
圖110大數(shù)據(jù)生態(tài)系統(tǒng)10
圖111Gartner技術(shù)成熟度曲線11
圖112數(shù)據(jù)科學(xué)的萌芽期（1974—2009年）11
圖113數(shù)據(jù)科學(xué)的快速發(fā)展期（2010—2013年）12
圖114數(shù)據(jù)科學(xué)的逐漸成熟期（2014年至今）13
圖115數(shù)據(jù)科學(xué)的理論體系14
圖116數(shù)據(jù)科學(xué)的主要內(nèi)容15
圖117數(shù)據(jù)科學(xué)的“三世界原則”16
圖118數(shù)據(jù)科學(xué)的“三個要素”及“3C精神”17
圖119數(shù)據(jù)范式與知識范式的區(qū)別18
圖120數(shù)據(jù)管理范式的變化18
圖121大數(shù)據(jù)的資產(chǎn)屬性19
圖122常用驅(qū)動方式20
圖123CAPTCHA項目21
圖124ReCAPTCHA項目21
圖125數(shù)據(jù)與算法之間的關(guān)系22
圖126BellKors Pragmatic Chaos團隊獲得Netflix獎23
圖127Netflix獎公測結(jié)果23
圖128RStudio中編輯Markdown的窗口25
圖129數(shù)據(jù)科學(xué)家團隊28
圖130學(xué)習(xí)數(shù)據(jù)科學(xué)的四則原則29
圖21數(shù)據(jù)科學(xué)的理論基礎(chǔ)35
圖22統(tǒng)計方法的分類（目的與思路視角）37
圖23統(tǒng)計學(xué)中的數(shù)據(jù)推斷37
圖24數(shù)據(jù)統(tǒng)計方法的類型（方法論視角）38
圖25數(shù)據(jù)統(tǒng)計基本方法38
圖26元分析與基本分析39
圖27GFT預(yù)測與美國疾病控制中心數(shù)據(jù)的對比40
圖28GFT估計與實際數(shù)據(jù)的誤差（2013年2月）40
圖29大數(shù)據(jù)時代的思維模式的轉(zhuǎn)變41
圖210西洋雙陸棋42
圖211自動駕駛42
圖212機器學(xué)習(xí)的基本思路42
圖213機器學(xué)習(xí)的三要素44
圖214機器學(xué)習(xí)的類型45
圖215KNN算法的基本步驟46
圖216決策樹示例——識別鳥類48
圖217感知器示例50
圖218前向神經(jīng)網(wǎng)絡(luò)50
圖219歸納學(xué)習(xí)與分析學(xué)習(xí)52
圖220增強學(xué)習(xí)53
圖221IBM Watson54
圖222Pepper機器人54
圖223機器學(xué)習(xí)及其應(yīng)用55
圖224Anscombe四組數(shù)據(jù)的可視化57
圖225John Snow的鬼地圖（Ghost Map）58
圖31數(shù)據(jù)科學(xué)的基本流程62
圖32量化自我63
圖33整齊數(shù)據(jù)與干凈數(shù)據(jù)的區(qū)別64
圖34整齊數(shù)據(jù)示意圖64
圖35殘差67
圖36數(shù)據(jù)分析的類型68
圖37Analytics 1.0~3.069
圖38數(shù)據(jù)加工方法70
圖39數(shù)據(jù)審計與數(shù)據(jù)清洗71
圖310缺失數(shù)據(jù)的處理步驟72
圖311冗余數(shù)據(jù)的處理方法72
圖312數(shù)據(jù)分箱處理的步驟與類型73
圖313均值平滑與邊界值平滑74
圖314內(nèi)容集成76
圖315結(jié)構(gòu)集成76
圖316數(shù)據(jù)脫敏處理77
圖317數(shù)據(jù)連續(xù)性的定義及重要性81
圖318可視化審計82
圖319Gartner分析學(xué)價值扶梯模型83
圖320冰激凌的銷量與謀殺案的發(fā)生數(shù)量84
圖321數(shù)據(jù)分析的類型86
圖322拿破侖進軍俄國慘敗而歸的歷史事件的可視化87
圖323可視化分析學(xué)的相關(guān)學(xué)科87
圖324可視化分析學(xué)模型88
圖325數(shù)據(jù)可視化的方法體系89
圖326視覺圖形元素與視覺通道89
圖327雷達圖示例89
圖328齊美爾連帶89
圖329視覺隱喻的示例——美國政府機構(gòu)的設(shè)置90
圖330地鐵路線圖的創(chuàng)始人Henry Beck91
圖331Henry Beck的倫敦地鐵線路圖91
圖332視覺突出的示例92
圖333完圖法則的示例92
圖334視覺通道的選擇與展示94
圖335視覺通道的精確度對比94
圖336視覺通道的可辨認(rèn)性——某公司產(chǎn)品銷售示意圖95
圖337視覺通道的可分離性差95
圖338上下文導(dǎo)致視覺假象196
圖339上下文導(dǎo)致視覺假象296
圖340對亮度和顏色的相對判斷容易造成視覺假象的示例96
圖341數(shù)據(jù)可視化與數(shù)據(jù)故事化描述97
圖342數(shù)據(jù)的故事化描述及故事的展現(xiàn)98
圖343項目管理的主要內(nèi)容101
圖344數(shù)據(jù)科學(xué)項目的基本流程102
圖41大數(shù)據(jù)產(chǎn)業(yè)全景圖107
圖42基礎(chǔ)設(shè)施108
圖43分析工具109
圖44企業(yè)應(yīng)用109
圖45行業(yè)應(yīng)用110
圖46跨平臺基礎(chǔ)設(shè)施和分析工具110
圖47開源系統(tǒng)111
圖48數(shù)據(jù)源與Apps111
圖49數(shù)據(jù)資源111
圖410MapReduce執(zhí)行過程113
圖411MapReduce對中間數(shù)據(jù)的處理116
圖412以MapReduce為核心和以YARN為核心的軟件棧對比118
圖413下一代MapReduce框架118
圖414Apache Hadoop官網(wǎng)119
圖415Apache Hadoop生態(tài)系統(tǒng)119
圖416Hadoop MapReduce數(shù)據(jù)處理流程121
圖417Apache Hive官網(wǎng)122
圖418Apache Pig官網(wǎng)123
圖419Apache Mahout官網(wǎng)124
圖420Apache HBase官網(wǎng)125
圖421HBase與Hadoop項目125
圖422HBase邏輯模型126
圖423Apache Zookeeper官網(wǎng)127
圖424Apache Flume官網(wǎng)127
圖425Apache Sqoop官網(wǎng)128
圖426Spark 技術(shù)架構(gòu)130
圖427Spark執(zhí)行流程130
圖428Spark Scheduler134
圖429傳統(tǒng)關(guān)系數(shù)據(jù)庫的優(yōu)點與缺點136
圖430關(guān)系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫之間的關(guān)系138
圖431NoSQL數(shù)據(jù)分布的兩個基本途徑139
圖432分片處理140
圖433主從復(fù)制141
圖434對等復(fù)制142
圖435數(shù)據(jù)不一致性142
圖436CAP理論143
圖437Memcached官網(wǎng)146
圖438一致性散列的分配方式147
圖439服務(wù)器增加時的變化147
圖440計算模式的演變150
圖441數(shù)據(jù)管理的新變化152
圖51數(shù)據(jù)產(chǎn)品開發(fā)中的數(shù)據(jù)與數(shù)據(jù)柔術(shù)157
圖52數(shù)據(jù)產(chǎn)品開發(fā)與數(shù)據(jù)柔術(shù)160
圖53數(shù)據(jù)產(chǎn)品的多樣性160
圖54數(shù)據(jù)產(chǎn)品的層次性161
圖55Google全球商機洞察（Global Market Finder）162
圖56數(shù)據(jù)產(chǎn)品鏈162
圖57傳統(tǒng)產(chǎn)品開發(fā)與數(shù)據(jù)產(chǎn)品開發(fā)的區(qū)別163