走近大數據

目 錄 \t
第　1章 大數據，心中有數　1
1．1　從一場親子講座談起　2
1．2　數據非今日變大，為什么今天火了　3
1．3　大數據帶來的改變漸漸發(fā)生了　6
1．4　大數據，首先是數據　8
1．5　再議數據規(guī)?！?0
1．6　大數據概念正解　11
1．6．1　大數據等于數據大嗎　11
1．6．2　大數據>數據大　11
1．6．3　大數據內涵——4V屬性　12
1．6．4　大數據原理模擬　12
1．7　再談大數據帶來的真正改變　14
第　2章 大數據，順勢而為　15
2．1　大數據發(fā)展基礎　16
2．1．1　大數據商用的前提　16
2．1．2　大數據發(fā)展引擎——云計算　16
2．1．3　大數據發(fā)展的ABCT模式　23
2．2　大數據兩個關鍵變化　25
2．3　大數據獲取與管理　25
2．3．1　大數據獲取　25
2．3．2　大數據管理　26
2．4　大數據存儲　27
2．5　大數據分析　28
2．6　大數據創(chuàng)新應用　29
2．7　大數據安全　31
2．8　大數據發(fā)展對我們的要求　31
第3章　準備好了嗎？——大數據技術及應用　33
3．1　大數據的基石——Hadoop技術和應用　35
3．1．1　源自一位爸爸的愛——Hadoop介紹　35
3．1．2　海量、非結構化數據的存儲寶典——Hadoop應用場景　36
3．1．3　“打仗親兄弟，上陣父子兵”（拼的是團隊?。狧adoop
生態(tài)系統(tǒng)　41
3．1．4　如何擺布呢？——Hadoop實施建議　45
3．1．5　Hadoop的“七寸”——技術關鍵點　53
3．2　近期發(fā)展勢頭最猛的技術——Spark的應用　57
3．2．1　“星星之火，可以燎原”——Spark簡介　57
3．2．2　“速度決定一切”——Spark應用場景　58
3．2．3　“另立門戶”的節(jié)奏——Spark生態(tài)系統(tǒng)　60
3．2．4　“火花”的關鍵點——Spark實施建議　63
3．2．5　“照單抓藥”即可——Spark參數配置　69
3．3　“中檔價格買中檔車的配置”——MPP數據庫的應用　72
3．3．1　“不共享”的并行處理架構——MPP數據庫簡介　72
3．3．2　完全支持SQL--MPP數據庫應用場景　72
3．3．3　“這樣的配置來兩打”——MPP數據庫實施建議　74
3．3．4　“對面的女孩看過來”——技術關注點　78
3．4　“速度決定一切！”——流處理技術的應用　80
3．4．1　“流水不腐”——流處理技術簡介　80
3．4．2　“最快的奔跑”——流處理技術應用場景　81
3．4．3　看看誰跑得快？——流處理技術典型產品　82
3．4．4　短跑運動員的配置清單——流處理技術實施建議　83
3．5　NoSQL技術的應用　87
3．5．1　NoSQL技術簡介　88
3．5．2　“大數據量查詢”——適用場景　88
3．5．3　“都有誰？”——典型產品　89
3．5．4　如何租給更多人？——多租戶實現方式　92
3．6　在內存里跑數據庫——內存數據庫的應用　93
3．6．1　傳統(tǒng)數據庫的“土豪”配置——內存數據庫簡介　93
3．6．2　提速的奢華方式——適用場景　94
3．6．3　哪些是“土豪”的必備——典型產品　95
3．6．4　“土豪”要關注什么？——技術關注點　96
3．7　如何采集更多的數據——數據采集　97
3．7．1　“沒有數據就是無米之炊”——數據采集簡介　97
3．7．2　不同的采集方式——適用場景　98
3．7．3　各種工具——技術簡介　98
3．8　數據庫如何分布？——分布式關系型數據庫的應用　106
3．8．1　“分布+傳統(tǒng)數據庫”——分布式關系型數據庫簡介　106
3．8．2　數據庫的延伸——適用場景　106
3．8．3　支持SQL的分布式數據庫——典型產品　107
3．8．4　技術關注點　109
3．9　互聯(lián)網的“殺手級應用”——搜索引擎　109
3．9．1　搜索引擎簡介　109
3．9．2　搜索什么？——適用場景　110
3．9．3　產品簡介　110
3．9．4　技術關注點　111
3．10　資源隔離的利器——容器的應用　111
3．10．1　獨立的集裝箱——容器簡介　112
3．10．2　容器與虛擬機的區(qū)別　113
3．10．3　集裝箱能用在哪里？——容器應用場景　114
3．10．4　如何部署？——Docker實施建議　115
第4章　大數據如何顯示分析結果？——數據分析與數據可視化　119
4．1　收集大數據就是為了分析——數據分析　120
4．1．1　分析方法有哪些？——數據分析簡介　120
4．1．2　數據分析的過程——適用場景　123
4．1．3　分析工具有哪些？——典型產品　123
4．1．4　什么最火？——深度學習典型產品　125
4．2　大數據也要學習“包裝”技術——數據可視化　129
4．2．1　如何讓數據更美觀？——數據可視化簡介　129
4．2．2　什么時候數據需要美化？——適用場景　130
4．2．3　美化數據結果的工具——典型產品　130
第5章　如何構建開放的大數據平臺？——大數據開放平臺構建　133
5．1　為什么要開放？——概述　134
5．1．1　開放是趨勢——大數據開放平臺的意義　134
5．1．2　誰在使用開放平臺？——大數據開放平臺主要角色　135
5．1．3　開放哪些內容？——大數據開放平臺開放的內容與范圍　135
5．2　看看別人家的平臺——大數據開放平臺參考架構　137
5．3　開放哪些內容？——基礎能力的開放　138
5．3．1　自己采集所需——數據采集能力開放　138
5．3．2　自己存儲數據——數據存儲能力開放　140
5．3．3　自己決定處理方式——數據處理能力開放　142
5．3．4　自己決定展現形式——展現能力開放　144
5．4　把管理權力也開放出去——數據管理能力的開放　145
5．4．1　自己設計作業(yè)任務——任務調度能力開放　145
5．4．2　自己編排數據字典——元數據管理能力開放　148
5．4．3　自己管理自己的數據質量——數據質量管理能力開放　149
5．4．4　自己承擔安全員——數據安全管理能力開放　149
5．4．5　能提供哪些服務？——服務目錄能力開放　150
5．5　如何管理系統(tǒng)？——平臺管理　151
5．5．1　系統(tǒng)有什么料？——資源管理　152
5．5．2　如何調度作業(yè)？——負載管理　152
5．5．3　資源如何分配——配額管理　153
5．5．4　能否計費？——計量管理　153
5．6　“眾人拾柴火焰高”——開發(fā)者門戶　154
5．6．1　“你是誰？”——注冊認證　154
5．6．2　“來個廚房”——資源申請　155
5．6．3　“再來二斤牛肉、一壺好酒”——數據申請　156
5．6．4　“吃飽喝足”——開發(fā)上線　157
第6章　安全無小事——大數據安全　159
6．1　安全很重要——大數據安全概述　160
6．2　非法入侵——數據訪問安全　161
6．2．1　你有權限嗎？——用戶認證　161
6．2．2　誰可以訪問？——用戶管理　164
6．2．3　我授權給你——用戶授權　166
6．3　數據加密？——數據服務安全　169
6．3．1　屏蔽隱私內容——數據脫敏　169
6．3．2　追查泄露者——數字水印　170
6．3．3　有口令嗎？——安全令牌管理　171
6．3．4　全程防護——服務攻擊檢測　171
6．4　數據存在保險箱就安全嗎？——數據存儲安全　173
6．4．1　看不懂的天書——加密　173
6．4．2　不能接觸——數據隔離　174
第7章　建設之后，運維工作更重要——大數據運維管理平臺　177
7．1　如何構建運維環(huán)境——大數據運維管理平臺簡介　178
7．2　功能點有哪些——大數據運維管理平臺功能介紹　178
7．2．1　用戶管理　179
7．2．2　節(jié)點管理　179
7．2．3　組件管理　180
7．2．4　監(jiān)控與告警管理　181
7．2．5　日志管理　181
7．3　運維產品有哪些——典型產品　182
7．3．1　產品列表　182
7．3．2　Ambari產品介紹　183
7．3．3　實施建議　184
第8章　數據質量管理　185
8．1　數據質量信息存儲　186
8．2　數據質量監(jiān)控平臺　186
8．2．1　采集管理　187
8．2．2　規(guī)則管理　188
8．2．3　告警管理　193
8．2．4　申告處理　195
8．2．5　知識總結　196
8．2．6　質量報告　197
8．2．7　任務調度　197
8．3　數據質量應用功能　198
附錄A　某公司大數據系統(tǒng)建設案例　201
附錄B　SH公司大數據PaaS平臺實施經驗　215
附錄C　FJ公司關于大數據高速路況實時監(jiān)測項目實施經驗　221
附錄D　其他公司大數據案例　229
附錄E　D-Docker技術原理　241