大數(shù)據(jù)技術與編程基礎

模塊1　大數(shù)據(jù)入門
第　1講 大數(shù)據(jù)簡介　3
1．1　什么是大數(shù)據(jù)　4
1．1．1　大數(shù)據(jù)的優(yōu)勢　5
1．1．2　挖掘各種大數(shù)據(jù)源　6
1．2　數(shù)據(jù)管理的歷史——大數(shù)據(jù)的演化　7
1．3　大數(shù)據(jù)的結構化　9
1．4　大數(shù)據(jù)要素　13
1．4．1　數(shù)據(jù)量　13
1．4．2　速度　14
1．4．3　多樣性　14
1．5　大數(shù)據(jù)在商務環(huán)境中的應用　14
1．6　大數(shù)據(jù)行業(yè)中的職業(yè)機會　16
1．6．1　職業(yè)機會　17
1．6．2　所需技能　17
1．6．3　大數(shù)據(jù)的未來　19
練習　20
備忘單　22
第　2講 大數(shù)據(jù)在商業(yè)上的應用　23
2．1　社交網(wǎng)絡數(shù)據(jù)的重要性　24
2．2　金融欺詐和大數(shù)據(jù)　30
2．3　保險業(yè)的欺詐檢測　32
2．4　在零售業(yè)中應用大數(shù)據(jù)　36
練習　40
備忘單　42
第3講　處理大數(shù)據(jù)的技術　43
3．1　大數(shù)據(jù)的分布式和并行計算　44
3．1．1　并行計算技術　46
3．1．2　虛擬化及其對大數(shù)據(jù)的重要性　47
3．2　Hadoop簡介　47
3．3　云計算和大數(shù)據(jù)　50
3．3．1　大數(shù)據(jù)計算的特性　50
3．3．2　云部署模型　51
3．3．3　云交付模型　52
3．3．4　大數(shù)據(jù)云　52
3．3．5　大數(shù)據(jù)云市場中的供應商　53
3．3．6　使用云服務所存在的問題　54
3．4　大數(shù)據(jù)內(nèi)存計算技術　54
練習　56
備忘單　58
第4講　了解Hadoop生態(tài)系統(tǒng)　59
4．1　Hadoop生態(tài)系統(tǒng)　60
4．2　用HDFS存儲數(shù)據(jù)　61
4．2．1　HDFS架構　62
4．2．2　HDFS的一些特殊功能　65
4．3　利用Hadoop MapReduce處理數(shù)據(jù)　65
4．3．1　MapReduce是如何工作的　66
4．3．2　MapReduce的優(yōu)點和缺點　66
4．3．3　利用Hadoop YARN管理資源和應用　67
4．4　利用HBase存儲數(shù)據(jù)　68
4．5　使用Hive查詢大型數(shù)據(jù)庫　69
4．6　與Hadoop生態(tài)系統(tǒng)的交互　70
4．6．1　Pig和Pig Latin　70
4．6．2　Sqoop　71
4．6．3　Zookeeper　72
4．6．4　Flume　72
4．6．5　Oozie　73
練習　74
備忘單　76
第5講　MapReduce基礎　77
5．1　MapReduce的起源　78
5．2　MapReduce是如何工作的　79
5．3　MapReduce作業(yè)的優(yōu)化技術　85
5．3．1　硬件/網(wǎng)絡拓撲　85
5．3．2　同步　86
5．3．3　文件系統(tǒng)　86
5．4　MapReduce的應用　86
5．5　HBase在大數(shù)據(jù)處理中的角色　87
5．6　利用Hive挖掘大數(shù)據(jù)　89
練習　91
備忘單　94
模塊2　管理大數(shù)據(jù)生態(tài)系統(tǒng)
第　1講 大數(shù)據(jù)技術基礎　97
1．1　探索大數(shù)據(jù)?！?8
1．2　冗余物理基礎設施層　99
1．2．1　物理冗余網(wǎng)絡　100
1．2．2　管理硬件：存儲和服務器　101
1．2．3　基礎設施的操作　101
1．3　安全基礎設施層　101
1．4　接口層以及與應用程序和互聯(lián)網(wǎng)的雙向反饋　102
1．5　可操作數(shù)據(jù)庫層　103
1．6　組織數(shù)據(jù)服務層及工具　104
1．7　分析數(shù)據(jù)倉庫層　105
1．8　分析層　105
1．9　大數(shù)據(jù)應用層　106
1．10　虛擬化和大數(shù)據(jù)　107
1．11　虛擬化方法　108
1．11．1　服務器虛擬化　109
1．11．2　應用程序虛擬化　109
1．11．3　網(wǎng)絡虛擬化　110
1．11．4　處理器和內(nèi)存虛擬化　110
1．11．5　數(shù)據(jù)和存儲虛擬化　111
1．11．6　用管理程序進行虛擬化管理　111
1．11．7　抽象與虛擬化　112
1．11．8　實施虛擬化來處理大數(shù)據(jù)　112
練習　114
備忘單　116
第　2講 大數(shù)據(jù)管理系統(tǒng)——數(shù)據(jù)庫和數(shù)據(jù)倉庫　117
2．1　RDBMS和大數(shù)據(jù)環(huán)境　118
2．2　非關系型數(shù)據(jù)庫　119
2．2．1　鍵值數(shù)據(jù)庫　120
2．2．2　文檔數(shù)據(jù)庫　122
2．2．3　列式數(shù)據(jù)庫　124
2．2．4　圖數(shù)據(jù)庫　125
2．2．5　空間數(shù)據(jù)庫　127
2．3　混合持久化　129
2．4　將大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)倉庫相集成　130
2．4．1　優(yōu)化數(shù)據(jù)倉庫　130
2．4．2　大數(shù)據(jù)結構與數(shù)據(jù)倉庫的區(qū)別　130
2．5　大數(shù)據(jù)分析和數(shù)據(jù)倉庫　132
2．6　改變大數(shù)據(jù)時代的部署模式　134
2．6．1　設備模型　134
2．6．2　云模型　135
練習　136
備忘單　138
第3講　分析與大數(shù)據(jù)　139
3．1　使用大數(shù)據(jù)以獲取結果　140
3．1．1　基本分析　142
3．1．2　高級分析　143
3．1．3　可操作性分析　144
3．1．4　貨幣化分析　145
3．2　是什么構成了大數(shù)據(jù)　145
3．2．1　構成大數(shù)據(jù)的數(shù)據(jù)　145
3．2．2　大數(shù)據(jù)分析算法　146
3．2．3　大數(shù)據(jù)基礎設施支持　146
3．3　探索非結構化數(shù)據(jù)　148
3．4　理解文本分析　149
3．4．1　分析和提取技術　150
3．4．2　理解提取的信息　151
3．4．3　分類法　152
3．4．4　將結果與結構化數(shù)據(jù)放在一起　153
3．5　建立新的模式和方法以支持大數(shù)據(jù)　156
3．5．1　大數(shù)據(jù)分析的特征　156
3．5．2　大數(shù)據(jù)分析的應用　157
3．5．3　大數(shù)據(jù)分析框架的特性　161
練習　163
備忘單　165
第4講　整合數(shù)據(jù)、實時數(shù)據(jù)和實施大數(shù)據(jù)　168
4．1　大數(shù)據(jù)分析的各個階段　169
4．1．1　探索階段　170
4．1．2　編纂階段　171
4．1．3　整合和合并階段　171
4．2　大數(shù)據(jù)集成的基礎　173
4．2．1　傳統(tǒng)ETL　174
4．2．2　ELT——提取、加載和轉(zhuǎn)換　175
4．2．3　優(yōu)先處理大數(shù)據(jù)質(zhì)量　175
4．2．4　數(shù)據(jù)性能分析工具　176
4．2．5　將Hadoop用作ETL　177
4．3　流數(shù)據(jù)和復雜的事件處理　177
4．3．1　流數(shù)據(jù)　178
4．3．2　復雜事件處理　181
4．3．3　區(qū)分CEP和流　182
4．3．4　流數(shù)據(jù)和CEP對業(yè)務的影響　183
4．4　使大數(shù)據(jù)成為運營流程的一部分　183
4．5　了解大數(shù)據(jù)的工作流　186
4．6　確保大數(shù)據(jù)有效性、準確性和時效性　187
4．6．1　數(shù)據(jù)的有效性和準確性　187
4．6．2　數(shù)據(jù)的時效性　187
練習　189
備忘單　191
第5講　大數(shù)據(jù)解決方案和動態(tài)數(shù)據(jù)　192
5．1　大數(shù)據(jù)作為企業(yè)戰(zhàn)略工具　193
5．1．1　階段1：利用數(shù)據(jù)做計劃　193
5．1．2　階段2：執(zhí)行分析　194
5．1．3　階段3：檢查結果　194
5．1．4　階段4：根據(jù)計劃行事　194
5．2　實時分析：把新的維度添加到周期　194
5．2．1　階段5：實時監(jiān)控　195
5．2．2　階段6：調(diào)整影響　195
5．2．3　階段7：實驗　195
5．3　對動態(tài)數(shù)據(jù)的需求　196
5．4　案例1：針對環(huán)境影響使用流數(shù)據(jù)　198
5．4．1　這是怎么做到的　198
5．4．2　利用傳感器提供實時信息　198
5．4．3　利用實時數(shù)據(jù)進行研究　199
5．5　案例2：為了公共政策使用大數(shù)據(jù)　199
5．5．1　問題　200
5．5．2　使用流數(shù)據(jù)　200
5．6　案例3：在醫(yī)療保健行業(yè)使用流數(shù)據(jù)　200
5．6．1　問題　201
5．6．2　使用流數(shù)據(jù)　201
5．7　案例4：在能源行業(yè)使用流數(shù)據(jù)　201
5．7．1　利用流數(shù)據(jù)提高能源效率　201
5．7．2　流數(shù)據(jù)的使用推進了可替代能源的生產(chǎn)　202
5．8　案例5：用實時文本分析提高客戶體驗　202
5．9　案例6：在金融業(yè)使用實時數(shù)據(jù)　203
5．9．1　保險　204
5．9．2　銀行　204
5．9．3　信用卡公司　204
5．10　案例7：使用實時數(shù)據(jù)防止保險欺詐　205
練習　207
備忘單　210
模塊3　存儲和處理數(shù)據(jù)：HDFS和MapReduce
第　1講 在Hadoop中存儲數(shù)據(jù)　213
1．1　HDFS　214
1．1．1　HDFS的架構　214
1．1．2　使用HDFS文件　218
1．1．3　Hadoop特有的文件類型　220
1．1．4　HDFS聯(lián)盟和高可用性　224
1．2　HBase　226
1．2．1　HBase的架構　226
1．2．2　HBase模式設計準則　231
1．3　HBase編程　232
1．4　為有效的數(shù)據(jù)存儲結合HDFS和HBase　237
1．5　為應用程序選擇恰當?shù)腍adoop數(shù)據(jù)組織　237
1．5．1　數(shù)據(jù)被MapReduce獨占訪問時　237
1．5．2　創(chuàng)建新數(shù)據(jù)時　238
1．5．3　數(shù)據(jù)尺寸太大時　238
1．5．4　數(shù)據(jù)用于實時訪問時　238
練習　239
備忘單　241
第　2講 利用MapReduce處理數(shù)據(jù)　242
2．1　開始了解MapReduce　243
2．1．1　MapReduce框架　243
2．1．2　MapReduce執(zhí)行管道　244
2．1．3　MapReduce的運行協(xié)調(diào)和任務管理　247
2．2　第 一個MapReduce應用程序　249
2．3　設計MapReduce的實現(xiàn)　257
2．3．1　使用MapReduce作為并行處理的框架　258
2．3．2　MapReduce的簡單數(shù)據(jù)處理　259
2．3．3　構建與MapReduce的連接　260
2．3．4　構建迭代的MapReduce應用程序　264
2．3．5　用還是不用MapReduce　268
2．3．6　常見的MapReduce設計提示　269
練習　271
備忘單　274
第3講　自定義MapReduce執(zhí)行　275
3．1　用InputFormat控制MapReduce的執(zhí)行　276
3．1．1　為計算密集型應用程序?qū)嵤㊣nputFormat　277
3．1．2　實現(xiàn)InputFormat控制map的數(shù)量　282
3．1．3　為多HBase表實現(xiàn)InputFormat　287
3．2　用你自定義RecordReader的方式讀取數(shù)據(jù)　290
3．3　用自定義OutputFormat組織輸出數(shù)據(jù)　292
3．4　自定義RecordWriter以你的方式寫數(shù)據(jù)　293
3．5　利用結合器優(yōu)化MapReduce執(zhí)行　295
3．6　用分區(qū)器來控制reducer的執(zhí)行　298
練習　299
備忘單　302
第4講　測試和調(diào)試MapReduce應用程序　303
4．1　MapReduce應用程序的單元測試　304
4．1．1　測試mapper　306
4．1．2　測試reducer　307
4．1．3　集成測試　308
4．2　用Eclipse進行本地程序測試　310
4．3　利用日志文件做Hadoop測試　312
4．4　利用工作計數(shù)器進行報表度量　316
4．5　在MapReduce中的防御式編程　318
練習　320
備忘單　322
第5講　實現(xiàn)MapReduce WordCount程序——案例學習　323
5．1　背景　324
5．1．1　句子層級的情感分析　325
5．1．2　情感詞法采集　325
5．1．3　文檔級別的情感分析　325
5．1．4　比較情感分析　325
5．1．5　基于外觀的情感分析　326
5．2　場景　326
5．3　數(shù)據(jù)解釋　326
5．4　方法論　326
5．5　方法　327
模塊4　利用Hadoop工具Hive、Pig和Oozie提升效率
第　1講 探索Hive　343
1．1　介紹Hive　344
1．1．1　Hive數(shù)據(jù)單元　345
1．1．2　Hive架構　346
1．1．3　Hive元數(shù)據(jù)存儲　347
1．2　啟動Hive　347
1．2．1　Hive命令行界面　348
1．2．2　Hive變量　349
1．2．3　Hive屬性　349
1．2．4　Hive一次性命令　349
1．3　執(zhí)行來自文件的Hive查詢　350
1．3．1　shell執(zhí)行　350
1．3．2　Hadoop dfs命令　350
1．3．3　Hive中的注釋　351
1．4　數(shù)據(jù)類型　351
1．4．1　基本數(shù)據(jù)類型　352
1．4．2　復雜數(shù)據(jù)類型　354
1．4．3　Hive內(nèi)置運算符　355
1．5　Hive內(nèi)置函數(shù)　356
1．6　壓縮的數(shù)據(jù)存儲　358
1．7　Hive數(shù)據(jù)定義語言　359
1．7．1　管理Hive中的數(shù)據(jù)庫　359
1．7．2　管理Hive中的表　360
1．8　Hive中的數(shù)據(jù)操作　364
1．8．1　將數(shù)據(jù)載入Hive表　364
1．8．2　將數(shù)據(jù)插入表　365
1．8．3　插入至本地文件　367
練習　368
備忘單　370
第　2講 高級Hive查詢　371
2．1　HiveQL查詢　372
2．1．1　SELECT查詢　372
2．1．2　LIMIT子句　373
2．1．3　嵌入查詢　373
2．1．4　CASE…WHEN…THEN　373
2．1．5　LIKE和RLIKE　373
2．1．6　GROUP BY　374
2．1．7　HAVING　374
2．2　使用函數(shù)操作列值　374
2．2．1　內(nèi)置函數(shù)　374
2．2．2　用戶定義函數(shù)　375
2．3　Hive中的連接　376
2．3．1　內(nèi)連接　376
2．3．2　外連接　377
2．3．3　笛卡兒積連接　378
2．3．4　Map側(cè)的連接　379
2．3．5　ORDER BY　379
2．3．6　UNION ALL　379
2．4　Hive的最佳實踐　380
2．4．1　使用分區(qū)　380
2．4．2　規(guī)范化　381
2．4．3　有效使用單次掃描　381
2．4．4　桶的使用　381
2．5　性能調(diào)優(yōu)和查詢優(yōu)化　382
2．5．1　EXPLAIN命令　383
2．5．2　LIMIT調(diào)優(yōu)　387
2．6　各種執(zhí)行類型　387
2．6．1　本地執(zhí)行　387
2．6．2　并行執(zhí)行　387
2．6．3　索引　388
2．6．4　預測執(zhí)行　388
2．7　Hive文件和記錄格式　388
2．7．1　文本文件　388
2．7．2　序列文件　389
2．7．3　RCFile　389
2．7．4　記錄格式（SerDe）　390
2．7．5　Regex SerDe　390
2．7．6　Avro SerDe　391
2．7．7　JSON SerDe　392
2．8　HiveThrift服務　393
2．8．1　啟動HiveThrift服務器　393
2．8．2　使用JDBC的樣例HiveThrift客戶端　393
2．9　Hive中的安全　395
2．9．1　認證　395
2．9．2　授權　395
練習　397
備忘單　400
第3講　用Pig分析數(shù)據(jù)　402
3．1　介紹Pig　403
3．1．1　Pig架構　403
3．1．2　Pig Latin的優(yōu)勢　404
3．2　安裝Pig　405
3．2．1　安裝Pig所需條件　405
3．2．2　下載Pig　405
3．2．3　構建Pig庫　406
3．3　Pig的屬性　406
3．4　運行Pig　407
3．5　Pig Latin應用程序流　408
3．6　開始利用Pig Latin　409
3．6．1　Pig Latin結構　410
3．6．2　Pig數(shù)據(jù)類型　411
3．6．3　Pig語法　412
3．7　Pig腳本接口　413
3．8　Pig Latin的腳本　415
3．8．1　用戶定義函數(shù)　415
3．8．2　參數(shù)替代　418
3．9　Pig中的關系型操作　419
3．9．1　FOREACH　419
3．9．2　FILTER　420
3．9．3　GROUP　421
3．9．4　ORDER BY　422
3．9．5　DISTINCT　423
3．9．6　JOIN　424
3．9．7　LIMIT　425
3．9．8　SAMPLE　426
練習　427
備忘單　430
第4講　Oozie對數(shù)據(jù)處理進行自動化　431
4．1　開始了解Oozie　432
4．2　Oozie工作流　433
4．2．1　在Oozie工作流中執(zhí)行異步活動　436
4．2．2　實現(xiàn)Oozie工作流　437
4．3　Oozie協(xié)調(diào)器　443
4．4　Oozie套件　448
4．5　利用EL的Oozie參數(shù)化　451
4．5．1　工作流函數(shù)　451
4．5．2　協(xié)調(diào)器函數(shù)　452
4．5．3　套件函數(shù)　452
4．5．4　其他EL函數(shù)　452
4．6　Oozie作業(yè)執(zhí)行模型　452
4．7　訪問Oozie　455
4．8　Oozie SLA　456
練習　460
備忘單　462
第5講　使用Oozie　464
5．1　業(yè)務場景：使用探測包驗證關于位置的信息　465
5．2　根據(jù)探測包設計位置驗證　466
5．3　設計Oozie工作流　467
5．4　實現(xiàn)Oozie工作流應用程序　469
5．4．1　實現(xiàn)數(shù)據(jù)準備工作流　469
5．4．2　實現(xiàn)考勤指數(shù)和集群簇的工作流　477
5．5　實現(xiàn)工作流的活動　479
5．5．1　從java行為中填充執(zhí)行上下文　479
5．5．2　在Oozie工作流中使用MapReduce作業(yè)　480
5．6　實現(xiàn)Oozie協(xié)調(diào)器應用程序　483
5．7　實現(xiàn)Oozie套件應用程序　488
5．8　部署、測試和執(zhí)行Oozie應用程序　489
5．8．1　使用Oozie CLI執(zhí)行Oozie應用程序　490
5．8．2　將參數(shù)傳遞給Oozie作業(yè)　493
5．8．3　決定如何將參數(shù)傳遞給Oozie作業(yè)　495
練習　497
備忘單　499