大數(shù)據(jù)及其可視化

第1 章 大數(shù)據(jù)與大數(shù)據(jù)時代............1
1.1 大數(shù)據(jù)概述............................. 3
1.1.1 數(shù)據(jù)與信息.................. 3
1.1.2 天文學(xué)——信息爆炸
的起源.......................... 3
1.1.3 大數(shù)據(jù)的定義............... 4
1.1.4 用3V 描述大數(shù)據(jù)
特征............................. 5
1.1.5 大數(shù)據(jù)的結(jié)構(gòu)類型....... 7
1.2 思維變革之一：樣本=總體..... 8
1.2.1 小數(shù)據(jù)時代的隨機
采樣............................. 8
1.2.2 大數(shù)據(jù)與喬布斯的
癌癥治療.................... 11
1.2.3 全數(shù)據(jù)模式：樣本=
總體........................... 12
1.3 思維變革之二：接受數(shù)據(jù)
的混雜性.............................. 12
1.3.1 允許不精確................ 12
1.3.2 大數(shù)據(jù)的簡單算法與
小數(shù)據(jù)的復(fù)雜算法..... 13
1.3.3 紛繁的數(shù)據(jù)越多
越好........................... 14
1.3.4 5%的數(shù)字數(shù)據(jù)與95%
的非結(jié)構(gòu)化數(shù)據(jù)......... 15
1.4 思維變革之三：數(shù)據(jù)的
相關(guān)關(guān)系.............................. 16
1.4.1 關(guān)聯(lián)物，預(yù)測的
關(guān)鍵........................... 16
1.4.2 “是什么”，而不是
“為什么”.................. 17
1.4.3 通過相關(guān)關(guān)系了解
世界........................... 18
【實驗與思考】深入理解大數(shù)據(jù)
時代...................................... 19
第2 章 數(shù)據(jù)可視化之美.................21
2.1 數(shù)據(jù)與可視化....................... 22
2.1.1 數(shù)據(jù)的可變性............. 23
2.1.2 數(shù)據(jù)的不確定性......... 24
2.1.3 數(shù)據(jù)的背景信息......... 25
2.1.4 打造最好的可視化
效果........................... 26
2.2 數(shù)據(jù)與圖形........................... 26
2.2.1 地圖傳遞信息............. 26
2.2.2 數(shù)據(jù)與走勢................. 27
2.2.3 視覺信息的科學(xué)
解釋........................... 28
2.2.4 圖片和分享的力量...... 29
2.2.5 公共數(shù)據(jù)集................. 29
2.3 實時可視化........................... 31
2.4 可視化分析工具.................... 31
2.4.1 Microsoft Excel ........... 32
2.4.2 Google Spreadsheets...... 32
2.4.3 Tableau ....................... 33
2.4.4 可視化編程工具......... 33
【實驗與思考】熟悉大數(shù)據(jù)
可視化.................................. 35
第3 章 Excel 數(shù)據(jù)可視化方法........37
3.1 Excel 的函數(shù)與圖表.............. 39
3.1.1 Excel 函數(shù).................. 40
3.1.2 Excel 圖表.................. 41
大數(shù)據(jù)及其可視化
2
3.1.3 選擇圖表類型............. 43
3.2 整理數(shù)據(jù)源........................... 44
3.2.1 數(shù)據(jù)提煉.................... 44
3.2.2 抽樣產(chǎn)生隨機數(shù)據(jù)..... 47
3.3 數(shù)理統(tǒng)計中的常見統(tǒng)計量..... 49
3.3.1 比平均值更穩(wěn)定的
中位數(shù)和眾數(shù)............. 49
3.3.2 正態(tài)分布和偏態(tài)
分布........................... 50
3.3.3 財務(wù)預(yù)算中的分析
工具........................... 52
3.4 改變數(shù)據(jù)形式引起的
圖表變化.............................. 53
3.4.1 用負數(shù)突出數(shù)據(jù)的
增長情況.................... 53
3.4.2 重排關(guān)鍵字順序
使圖表更合適............. 54
【實驗與思考】體驗Excel 數(shù)據(jù)
可視化方法........................... 55
第4 章 Excel 數(shù)據(jù)可視化應(yīng)用........57
4.1 直方圖：對比關(guān)系................ 60
4.1.1 以零基線為起點......... 60
4.1.2 垂直直條的寬度要
大于條間距................ 62
4.1.3 慎用三維效果的
柱形圖........................ 63
4.1.4 用堆積圖表示
百分數(shù)........................ 64
4.2 折線圖：按時間或類別
顯示趨勢.............................. 65
4.2.1 減小Y 軸刻度單位
增強數(shù)據(jù)波動情況..... 65
4.2.2 突出顯示折線圖中
的數(shù)據(jù)點.................... 66
4.2.3 通過面積圖顯示
數(shù)據(jù)總額.................... 67
4.3 圓餅圖：部分占總體的比例.... 68
4.3.1 重視圓餅圖扇區(qū)的
位置排序.................... 68
4.3.2 分離圓餅圖扇區(qū)
強調(diào)特殊數(shù)據(jù)............. 69
4.3.3 用半個圓餅圖刻畫
半期內(nèi)的數(shù)據(jù)............. 70
4.3.4 讓多個圓餅圖對象
重疊展示對比關(guān)系..... 71
4.4 散點圖：表示分布狀態(tài)......... 72
4.4.1 用平滑線聯(lián)系散點圖
增強圖形效果............. 72
4.4.2 將直角坐標改為象限
坐標凸顯分布效果..... 73
4.5 側(cè)重點不同的特殊圖表......... 74
4.5.1 用子彈圖顯示數(shù)據(jù)
的優(yōu)劣........................ 74
4.5.2 用溫度計展示工作
進度........................... 75
4.5.3 用漏斗圖進行業(yè)務(wù)
流程的差異分析......... 76
【實驗與思考】大數(shù)據(jù)如何激發(fā)
創(chuàng)造力.................................. 78
第5 章 大數(shù)據(jù)的商業(yè)規(guī)則..............79
5.1 大數(shù)據(jù)的跨界年度................ 80
5.2 谷歌的大數(shù)據(jù)行動................ 81
5.3 亞馬遜的大數(shù)據(jù)行動............ 83
5.4 將信息變成一種競爭優(yōu)勢..... 84
5.4.1 數(shù)據(jù)價格下降，
數(shù)據(jù)需求上升............. 85
5.4.2 大數(shù)據(jù)應(yīng)用程序的
興起........................... 86
5.4.3 實時響應(yīng)，大數(shù)據(jù)
用戶的新要求............. 87
5.4.4 企業(yè)構(gòu)建大數(shù)據(jù)
戰(zhàn)略........................... 87
目 錄
3
5.5 大數(shù)據(jù)營銷........................... 88
5.5.1 像媒體公司一樣
思考........................... 88
5.5.2 營銷面對新的機遇
與挑戰(zhàn)........................ 89
5.5.3 自動化營銷................ 90
5.5.4 為營銷創(chuàng)建高容量
和高價值的內(nèi)容......... 91
5.5.5 內(nèi)容營銷.................... 91
5.5.6 內(nèi)容創(chuàng)作與眾包......... 92
5.5.7 用投資回報率評價
營銷效果.................... 93
【實驗與思考】大數(shù)據(jù)營銷的
優(yōu)勢與核心內(nèi)涵................... 93
第6 章 大數(shù)據(jù)激發(fā)創(chuàng)造力..............95
6.1 大數(shù)據(jù)與循證醫(yī)學(xué)................ 97
6.2 大數(shù)據(jù)帶來的醫(yī)療新突破..... 98
6.2.1 量化自我，關(guān)注個人
健康........................... 99
6.2.2 可穿戴的個人健康
設(shè)備......................... 100
6.2.3 大數(shù)據(jù)時代的醫(yī)療
信息......................... 101
6.3 醫(yī)療信息數(shù)字化................. 103
6.4 搜索：超級大數(shù)據(jù)的
最佳伙伴............................ 105
6.5 數(shù)據(jù)決策的成功崛起.......... 106
6.5.1 數(shù)據(jù)輔助診斷........... 107
6.5.2 你考慮過……了嗎...... 107
6.5.3 大數(shù)據(jù)分析使數(shù)據(jù)
決策崛起.................. 108
6.6 大數(shù)據(jù)幫助改善設(shè)計.......... 109
6.6.1 少而精是設(shè)計的
核心..........................110
6.6.2 與玩家共同設(shè)計
游戲..........................111
6.6.3 以人為本的汽車
設(shè)計理念...................111
6.6.4 尋找最佳音響效果...... 112
6.6.5 建筑數(shù)據(jù)取代直覺...... 113
【實驗與思考】大數(shù)據(jù)如何激發(fā)
創(chuàng)造力................................ 114
第7 章 大數(shù)據(jù)預(yù)測分析...............116
7.1 預(yù)測分析............................ 119
7.2 數(shù)據(jù)情感和情感數(shù)據(jù).......... 122
7.2.1 從博客觀察集體
情感......................... 122
7.2.2 預(yù)測分析博客中的
情緒......................... 122
7.2.3 影響情緒的重要
因素——金錢........... 124
7.3 數(shù)據(jù)具有內(nèi)在預(yù)測性.......... 125
7.4 情感的因果關(guān)系.................. 126
7.4.1 焦慮指數(shù)與標普
500 指數(shù)................... 126
7.4.2 驗證情感和被驗證
的情感...................... 128
7.4.3 情緒指標影響
金融市場.................. 129
【實驗與思考】大數(shù)據(jù)準備度
自我評分表......................... 130
第8 章 支撐大數(shù)據(jù)的技術(shù)............134
8.1 大數(shù)據(jù)在云端..................... 135
8.1.1 云計算概述............... 136
8.1.2 云計算的服務(wù)形式...... 137
8.1.3 云計算與大數(shù)據(jù)....... 137
8.1.4 云基礎(chǔ)設(shè)施............... 139
8.2 計算虛擬化......................... 140
8.3 網(wǎng)絡(luò)虛擬化......................... 140
8.4 大數(shù)據(jù)存儲......................... 141
大數(shù)據(jù)及其可視化
4
8.4.1 傳統(tǒng)存儲系統(tǒng)........... 141
8.4.2 大數(shù)據(jù)時代的
新挑戰(zhàn)...................... 142
8.4.3 分布式存儲.............. 143
8.4.4 云存儲...................... 144
8.5 開源技術(shù)的商業(yè)支援.......... 145
8.6 大數(shù)據(jù)的技術(shù)架構(gòu).............. 146
8.7 Hadoop 基礎(chǔ)....................... 147
8.7.1 分布式系統(tǒng)概述....... 147
8.7.2 Hadoop 的由來......... 148
8.7.3 Hadoop 的優(yōu)勢......... 149
8.7.4 Hadoop 的發(fā)行
版本......................... 150
8.8 大數(shù)據(jù)數(shù)據(jù)處理基礎(chǔ).......... 150
8.8.1 Hadoop 與NoSQL...... 151
8.8.2 NoSQL 與RDBMS
的主要區(qū)別.............. 151
8.8.3 NewSQL ................... 153
【實驗與思考】了解大數(shù)據(jù)的
基礎(chǔ)設(shè)施............................ 154
第9 章 數(shù)據(jù)引導(dǎo)可視化...............156