走進大數(shù)據(jù)：組織如何推進大數(shù)據(jù)戰(zhàn)略

1．　IT趨勢與數(shù)字商務
1．1　開啟大數(shù)據(jù)時代的IT趨勢變化與未來核心技術的出現(xiàn)…2
1．1．1　始于IBM大型計算機的中央集中式商務處理方式…3
1．1．2　在“減員增效”浪潮中成為業(yè)界翹楚的甲骨文、思科和惠普…3
1．1．3　微軟開啟個人PC時代…4
1．1．4　大數(shù)據(jù)技術的起點：Hadoop的誕生…5
1．1．5　量產(chǎn)大數(shù)據(jù)的智能手機觸發(fā)移動時代…5
1．1．6　將企業(yè)IT資源最大化的云計算熱潮…6
1．1．7　產(chǎn)生更多大數(shù)據(jù)的傳感器時代即將到來…7
1．1．8　未來核心技術：社交網(wǎng)絡、移動技術、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)…7
1．2　始于大數(shù)據(jù)技術的創(chuàng)新——數(shù)字商務…9
1．2．1　同時提供優(yōu)質產(chǎn)品體驗與最低價格才能引發(fā)購買行為…11
1．2．2　Beacon：融合物聯(lián)網(wǎng)、大數(shù)據(jù)分析、移動通信等技術…12
1．3　陷入危機還是成功創(chuàng)新：跨國IT企業(yè)與IT趨勢…15
1．3．1　云計算領域…15
1．3．2　移動領域…16
1．3．3　大數(shù)據(jù)領域…17
1．3．4　物聯(lián)網(wǎng)領域…17
1．3．5　ERP及內存數(shù)據(jù)庫領域…18
1．3．6　IT領域的新霸主：谷歌、亞馬遜、賽富時…19
1．3．7　跨國IT企業(yè)因何變弱…20
大數(shù)據(jù)小問答…24
2．從實例分析入手的有趣的大數(shù)據(jù)分析
2．1　大數(shù)據(jù)…28
2．1．1　大數(shù)據(jù)的定義：4V…28
2．1．2　大數(shù)據(jù)之“大”…29
2．1．3　大數(shù)據(jù)技術與新商業(yè)模式的出現(xiàn)…30
2．1．4　小數(shù)據(jù)、暗數(shù)據(jù)、快數(shù)據(jù)、智能數(shù)據(jù)…32
2．2　創(chuàng)新源自大數(shù)據(jù)分析…34
2．3　大數(shù)據(jù)預測未來：從免費分析工具開始…38
2．3．1　大數(shù)據(jù)的滯后性：準確分析得出結論…38
2．3．2　關鍵詞的超前性：完善預測模型以提高準確度…39
2．3．3　門戶網(wǎng)站搜索頻率分析工具：Naver Trend與谷歌趨勢…41
2．3．4　免費社交媒體分析工具：Social Metrics…44
2．4　正式開始分析大數(shù)據(jù)前：基于場景的關鍵詞分析練習…46
2．4．1　智能手機競爭分析…47
2．4．2　戶外運動：高爾夫、登山與露營的比較…57
2．4．3　Naver Trend與Social Metrics的應用 …59
大數(shù)據(jù)小問答…62
3．　分析廣泛應用的社交媒體
3．1　靈活運用強大的社交媒體…66
3．1．1　社交媒體分析定義…67
3．1．2　社交媒體分析是大數(shù)據(jù)分析嗎？…67
3．1．3　以人們熟知的關鍵詞為中心進行分析…68
3．1．4　進行自然語言處理時要注意同音近義詞…70
3．1．5　選擇人們平時關注的領域…70
3．1．6　選舉中體現(xiàn)的社交媒體的力量…74
3．1．7　社交媒體在政府決策過程中大有用武之地…75
3．1．8　區(qū)分社交媒體中的謠言與真相…78
3．2　社交媒體分析的3個步驟…81
3．2．1　用戶需求…81
3．2．2　步驟1：Web信息采集…83
3．2．3　步驟2-1：自然語言處理服務…84
3．2．4　步驟2-2：文本分析…85
3．2．5　步驟2-3：可視化…85
3．2．6　步驟3：最終用戶…87
3．3　社交媒體分析的應用領域…87
3．3．1　新品研發(fā)及上市效果分析…87
3．3．2　廣告效果分析…88
3．3．3　企業(yè)信譽風險/危機管理…88
3．3．4　顧客的VOC…89
3．3．5　社會研究…89
3．3．6　數(shù)據(jù)新聞…90
大數(shù)據(jù)小問答…92
4．　引入大數(shù)據(jù)項目時的常見問題
4．1　對大數(shù)據(jù)概念的理解不夠…96
4．2　與準備引入大數(shù)據(jù)項目的企業(yè)分享我的個人經(jīng)驗…96
4．3　大數(shù)據(jù)項目中企業(yè)管理層存在的問題…98
4．3．1　引入大數(shù)據(jù)項目時企業(yè)管理層會忽視自身影響力…98
4．3．2　企業(yè)管理層將大數(shù)據(jù)項目想得過于簡單…99
4．3．3　企業(yè)管理者依靠“直覺”經(jīng)營的同時決定引入大數(shù)據(jù)戰(zhàn)略…100
4．3．4　不能由IT部門領導大數(shù)據(jù)TF…101
4．3．5　引入大數(shù)據(jù)項目需要巨額投資嗎？…103
4．4　大數(shù)據(jù)項目中業(yè)務負責人存在的問題…104
4．4．1　業(yè)務負責人必須培養(yǎng)自身數(shù)據(jù)分析能力…104
4．4．2　業(yè)務負責人將數(shù)據(jù)分析工作外包而只接收分析結果…104
4．4．3　業(yè)務負責人認為大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析差別很大…105
4．5　大數(shù)據(jù)項目中IT負責人存在的問題…106
4．5．1　IT負責人不愿意學習Hadoop…106
4．5．2　IT負責人認為構建大數(shù)據(jù)系統(tǒng)后只需維護…107
4．6　準確理解大數(shù)據(jù)項目…108
4．6．1　大數(shù)據(jù)項目取決于參與專家的水平…108
4．6．2　大數(shù)據(jù)專家涉及多個領域…109
4．6．3　大數(shù)據(jù)項目旨在基于數(shù)據(jù)進行決策…110
4．6．4　是否引入大數(shù)據(jù)系統(tǒng)要由實際業(yè)務負責人判斷…111
大數(shù)據(jù)小問答…114
5．　大數(shù)據(jù)方案選擇方法
5．1　以何種主題實現(xiàn)大數(shù)據(jù)項目：制定大數(shù)據(jù)項目主題…118
5．1．1　確定大數(shù)據(jù)項目主題時要靈活運用大數(shù)據(jù)咨詢公司…119
5．1．2　大數(shù)據(jù)項目主題確定方法與流程…120
5．2　步驟1：各行業(yè)大數(shù)據(jù)系統(tǒng)應用案例分析…123
5．3　步驟2：基本業(yè)務分析…128
5．4　步驟3：訪談…131
5．4．1　步驟3-1：管理層訪談…131
5．4．2　步驟3-2：業(yè)務訪談…132
5．4．3　步驟3-3：IT團隊訪談…134
5．5　步驟4：內部/外部數(shù)據(jù)采集與數(shù)據(jù)挖掘…135
5．5．1　步驟4-1：內部/外部數(shù)據(jù)采集…135
5．5．2　步驟4-2：初期數(shù)據(jù)挖掘…136
5．6　步驟5：培訓與研討…137
5．6．1　步驟5-1：管理者、業(yè)務團隊、IT團隊的培訓…137
5．6．2　步驟5-2：業(yè)務研討會…140
5．7　步驟6：大數(shù)據(jù)項目備選主題的選擇及評估…143
5．7．1　步驟6-1：選擇大數(shù)據(jù)項目備選主題…143
5．7．2　步驟6-2：評估…145
5．8　步驟7：Quick Win課題及主題選擇、總體規(guī)劃…148
5．8．1　步驟7-1：Quick Win課題及主題選擇…148
5．8．2　步驟7-2：大數(shù)據(jù)項目總體規(guī)劃…149
大數(shù)據(jù)小問答…154
6．　具有競爭力的大數(shù)據(jù)分析
6．1　保持企業(yè)競爭力的大數(shù)據(jù)分析案例…158
6．1．1　大數(shù)據(jù)分析與統(tǒng)計分析的區(qū)別…158
6．1．2　Netflix的Cinematch system與深度學習…159
6．1．3　亞馬遜的推薦系統(tǒng)…162
6．2　實現(xiàn)大數(shù)據(jù)項目時可以靈活應用的分析服務…165
6．2．1　沃爾弗拉姆·阿爾法計算知識引擎…165
6．2．2　ID INCU的移動研究…168
6．3　實現(xiàn)大數(shù)據(jù)項目時可供參考的數(shù)據(jù)…171
6．3．1　韓國健康保險審查評價院用于研究的申請數(shù)據(jù)…171
6．3．2　基于SKT地理信息系統(tǒng)的空間大數(shù)據(jù)服務…175
6．4　實現(xiàn)大數(shù)據(jù)項目時可以靈活使用的分析系統(tǒng)…177
大數(shù)據(jù)小問答…180
7．　大數(shù)據(jù)技術與IT技術
7．1　大數(shù)據(jù)系統(tǒng)與傳統(tǒng)DW/BI系統(tǒng)的異同…184
7．1．1　大數(shù)據(jù)技術與傳統(tǒng)DW/BI技術的區(qū)別…184
7．1．2　大數(shù)據(jù)技術與傳統(tǒng)DW/BI技術的共同點…189
7．2　向傳統(tǒng)DW/BI系統(tǒng)引入大數(shù)據(jù)技術時的一些建議…189
7．2．1　傳統(tǒng)DW/BI系統(tǒng)的需求…189
7．2．2　DW/BI第一階段擴展方案…190
7．2．3　DW/BI第二階段擴展方案…193
7．2．4　DW/BI第三階段擴展方案…195
7．2．5　引入大數(shù)據(jù)系統(tǒng)引起的IT組織變化…197
7．3　大數(shù)據(jù)解決方案…198
7．3．1　大數(shù)據(jù)架構…198
7．3．2　數(shù)據(jù)處理、查詢領域的軟件優(yōu)缺點分析…201
7．3．3　大數(shù)據(jù)基礎設施與服務：國外解決方案…202
7．3．4　大數(shù)據(jù)基礎設施與服務：韓國解決方案…204
7．4　幾款值得推薦的韓國產(chǎn)品…206
7．4．1　Flamingo…206
7．4．2　Apache Tajo…210
大數(shù)據(jù)小問答…212
8．　大數(shù)據(jù)項目構建方法
8．1　大數(shù)據(jù)項目構建方法的重要性…216
8．1．1　利用大數(shù)據(jù)需要大數(shù)據(jù)項目構建方法…216
8．1．2　大數(shù)據(jù)項目需要良好的溝通…217
8．1．3　必須將階段性執(zhí)行程序融入大數(shù)據(jù)項目構建方法…217
8．1．4　大數(shù)據(jù)項目構建方法必須與大數(shù)據(jù)方案選擇方法
相對應…218
8．2　大數(shù)據(jù)項目構建方法定義…219
8．3　大數(shù)據(jù)項目推進總體規(guī)劃（模塊1）…221
8．4　商業(yè)應用及變化管理的實現(xiàn)（模塊2）…223
8．4．1　充分理解商業(yè)主題（模塊2-1）…224
8．4．2　與分析結果相關的商業(yè)行動計劃（模塊2-2）…225
8．4．3　企業(yè)應用監(jiān)控與激活方案（模塊2-3）…225
8．4．4　大數(shù)據(jù)系統(tǒng)應用評估（模塊2-4）…226
8．4．5　大數(shù)據(jù)系統(tǒng)應用組織設計（模塊2-5）…231
8．4．6　所需人力與技能組合的定義（模塊2-6）…237
8．4．7　所需人力的調配方法（模塊2-7）…238
8．4．8　內部人才培養(yǎng)計劃（模塊2-8）…239
8．5　各主題分析模型的設計及與分析（模塊3）…239
8．5．1　大數(shù)據(jù)挖掘方法比較…239
8．5．2　大數(shù)據(jù)間接分析法…241
8．5．3　大數(shù)據(jù)直接分析法…243
8．5．4　大數(shù)據(jù)分析工具培訓（模塊3-0）…243
8．5．5　充分理解商業(yè)主題（模塊3-1）…244
8．5．6　定義所需數(shù)據(jù)（模塊3-2）…245
8．5．7　數(shù)據(jù)探索（模塊3-3）…245
8．5．8　派生數(shù)據(jù)設計及數(shù)據(jù)處理需求傳達（模塊3-4）…246
8．5．9　分析模型設計與測試（模塊3-5）…247
8．5．10　數(shù)據(jù)可視化（模塊3-6）…247
8．5．11　評估分析結果（模塊3-7）…248
8．5．12　分析模型維護與升級方案（模塊3-8）…250
8．6　大數(shù)據(jù)系統(tǒng)設計與構建（模塊4）…251
8．6．1　充分理解大數(shù)據(jù)項目主題（模塊4-1）…251
8．6．2　數(shù)據(jù)建模（模塊4-2）…251
8．6．3　內部/外部數(shù)據(jù)ETL設計（模塊4-3）…252
8．6．4　內部/外部數(shù)據(jù)提煉操作設計（模塊4-4）…253
8．6．5　內部/外部數(shù)據(jù)ETL及提煉操作執(zhí)行（模塊4-5）…254
8．6．6　執(zhí)行數(shù)據(jù)處理（模塊4-6）…254
8．6．7　用戶/訪問/安全管理執(zhí)行（模塊4-7）…255
8．7　大數(shù)據(jù)系統(tǒng)設計/構建（模塊5）…255
8．7．1　SW架構設計（模塊5-1）…255
8．7．2　HW/Cloud架構設計（模塊5-2）…257
8．7．3　安裝SW/HW/Cloud（模塊5-3）…258
8．8　大數(shù)據(jù)治理設計與構建（模塊6）…259
8．8．1　數(shù)據(jù)治理設計與構建（模塊6-1）…259
8．8．2　外部數(shù)據(jù)管理（模塊6-2）…260
8．8．3　用戶/訪問/安全管理設計（模塊6-3）…260
大數(shù)據(jù)小問答…262
附錄　通過行業(yè)大會了解大數(shù)據(jù)技術發(fā)展趨勢
Strata　Hadoop World 2014…266
美國已經(jīng)從“為什么是大數(shù)據(jù)”（Why　Big data）階段進入“如何做大數(shù)據(jù)”（How to do Big data）階段…267
目前形勢下，Hadoop是“明顯的勝者”（Clear　winner）…267
商業(yè)Hadoop比Apache　Hadoop更常用…268
Spark的極高關注度…268
傳統(tǒng)RDB中的信息業(yè)務正在遷移到Hadoop…269
數(shù)據(jù)科學的關注度越來越高，但仍需努力縮短它與Hadoop陣營的距離…269
“大數(shù)據(jù)+物聯(lián)網(wǎng)”的結合是理所當然的，并將持續(xù)探索最優(yōu)架構…270
Mike　Olson眼中Hadoop的未來…271
針對商業(yè)用戶提供良好的用戶體驗…272
與宣傳本公司服務相比，我們更需要多分享個人見解…273
應用大數(shù)據(jù)技術時引發(fā)的個人信息安全問題…274
大數(shù)據(jù)也有可能得到錯誤的收集與分析…274
借助大數(shù)據(jù)分析人類情感…275
大數(shù)據(jù)行業(yè)現(xiàn)狀…276
通過Strata　Hadoop World 2014預測大數(shù)據(jù)市場…277
Teradata　PARTNERS Conference 2014（Teradata 合作伙伴會議2014）…279
eBay：分析、運營海量數(shù)據(jù)…281
數(shù)據(jù)倉庫與Hadoop之間的關系…282
通用汽車公司的全新EDW架構…284
沃爾沃大數(shù)據(jù)系統(tǒng)應用案例…287
Teradata的統(tǒng)一數(shù)據(jù)架構…291
對大數(shù)據(jù)排序以幫助決策…294
SQL　On Hadoop領域中值得關注的產(chǎn)品…294
個人隱私保護問題…296
后記…298