云計算和大數(shù)據(jù)技術(shù)：概念、應(yīng)用與實戰(zhàn)（第2版）

第1章 1
云計算基礎(chǔ)　1
1．1　云計算技術(shù)概述　1
1．1．1　云計算簡介　1
1．1．2　云計算的特點　2
1．1．3　云計算技術(shù)分類　3
1．1．4　計算機(jī)技術(shù)向現(xiàn)代信息技術(shù)演進(jìn)的歷程　4
1．2　集群系統(tǒng)概述　5
1．2．1　集群系統(tǒng)的基本概念　5
1．2．2　集群系統(tǒng)系統(tǒng)的分類　6
1．3　分布式系統(tǒng)中計算和數(shù)據(jù)的協(xié)作機(jī)制　6
1．3．1　基于計算切分的分布式計算　6
1．3．2　基于計算和數(shù)據(jù)切分的混合型分布式計算技術(shù)—網(wǎng)格計算　7
1．3．3　基于數(shù)據(jù)切分的分布式計算技術(shù)　8
1．3．4　三種分布式系統(tǒng)的分析對比　10
1．4　云計算平臺服務(wù)　11
1．4．1　IAAS（基礎(chǔ)設(shè)施即服務(wù)）　11
1．4．2　PAAS（平臺即服務(wù)）　11
1．4．3　SAAS（軟件即服務(wù)）　11
1．5　云計算與物聯(lián)網(wǎng)　11
練習(xí)題　13
第2章　1
大數(shù)據(jù)基礎(chǔ)　1
2．1　大數(shù)據(jù)技術(shù)概述　1
2．1．1　大數(shù)據(jù)簡介　1
2．1．2　大數(shù)據(jù)產(chǎn)生的原因　1
2．1．3　數(shù)據(jù)的計量單位　2
2．1．4　大數(shù)據(jù)是人類認(rèn)識世界的新手段　3
2．1．5　幾類高性能計算系統(tǒng)對比分析　4
2．1．6主要的大數(shù)據(jù)處理系統(tǒng)　4
2．1．7　大數(shù)據(jù)處理的基本流程　6
2．2　大數(shù)據(jù)的典型應(yīng)用示例　7
2．2．1　大數(shù)據(jù)在高能物理中的應(yīng)用　7
2．2．2　推薦系統(tǒng)　8
2．2．3　搜索引擎系統(tǒng)　8
2．2．4　百度遷徙　9
2．3　大數(shù)據(jù)中的集群技術(shù)　10
1．2．2　集群文件系統(tǒng)的基本概念　10
2．3．1　什么是集群系統(tǒng)　11
2．3．2　大數(shù)據(jù)并行計算的層次　13
2．3．3　大數(shù)據(jù)系統(tǒng)的分類方法　14
2．3．3　單一系統(tǒng)映象　15
2．3．4　集群中的一致性　15
2．4　云計算與大數(shù)據(jù)的發(fā)展　17
2．4．1　云計算與大數(shù)據(jù)發(fā)展歷程　17
2．4．2　為云計算與大數(shù)據(jù)發(fā)展做出貢獻(xiàn)的科學(xué)家　20
2．4．3　云計算與大數(shù)據(jù)的國內(nèi)發(fā)展現(xiàn)狀　21
練習(xí)題　22
第3章　1
虛擬化技術(shù)　1
3．1　虛擬化技術(shù)簡介　1
3．1．1　虛擬化技術(shù)的發(fā)展　1
3．1．2　虛擬化技術(shù)的優(yōu)勢和劣勢　2
3．1．3　虛擬化技術(shù)的分類　3
3．2　常見虛擬化軟件　6
3．2．1　VirtualBox　6
3．2．2　VMware Workstation　6
3．2．3　KVM　6
3．3　系統(tǒng)虛擬化　7
3．3．1　服務(wù)器虛擬化　8
3．3．2　桌面虛擬化　10
3．3．3　網(wǎng)絡(luò)虛擬化　13
3．4　任務(wù) 使用KVM構(gòu)建虛擬機(jī)群　13
3．4．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　13
3．4．2　子任務(wù)2 安裝虛擬化軟件包　15
3．4．3　子任務(wù)3 虛擬系統(tǒng)管理器的使用　16
3．4．4　子任務(wù)4 虛擬機(jī)的遠(yuǎn)程訪問　19
練習(xí)題　21
第4章　1
虛擬化平臺　1
４．1　XenServer　1
４．1．1　XenServer優(yōu)點　2
４．1．2　XenServer硬件要求　2
4．2　任務(wù) XenServer部署　3
4．2．1　子任務(wù)1 XenServer的安裝　3
4．2．2　子任務(wù)2 XenCenter的安裝　7
4．2．3　子任務(wù)3 制作模板　10
4．2．4　子任務(wù)4 創(chuàng)建虛擬機(jī)　16
4．3　VMware vSphere　19
4．3．1　VMware vSphere體系結(jié)構(gòu)　19
4．3．2　VMware vSphere組件及其功能　21
4．3．3　VMware vSphere硬件要求　22
4．4　任務(wù) vSphere部署　24
4．4．1　子任務(wù)1 ESXi的安裝　24
4．4．2　子任務(wù)1 vSphere Client的安裝　26
練習(xí)題　33
第5章　1
面向計算—MPI　1
5．1　MPI概述　1
5．2　MPI的架構(gòu)和特點　2
5．3　任務(wù)一 MPICH并行環(huán)境的建立　3
5．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　3
5．3．2　子任務(wù)2 用戶創(chuàng)建和ssh設(shè)置　4
5．3．3　子任務(wù)3 NFS服務(wù)的安裝　5
5．3．4　子任務(wù)4 MPICH編譯運行　5
5．4　任務(wù)二 MPI分布式程序設(shè)計　7
5．4．1　子任務(wù)1 簡單并行程序的編寫　7
5．4．2　子任務(wù)2 獲取進(jìn)程標(biāo)志和機(jī)器名　9
5．4．3　子任務(wù)3 有消息傳遞功能的并行程序　12
5．4．4　子任務(wù)4 Monte Carlo法在并行程序設(shè)計中的應(yīng)用　16
5．4．5　子任務(wù)5 并行計算中節(jié)點間的Reduce操作　19
5．4．6　設(shè)計MPI并行程序時的注意事項　21
練習(xí)題　22
第6章　1
分布式大數(shù)據(jù)系統(tǒng)　1
—Hadoop　1
6．1　Hadoop概述　1
6．2　HDFS　2
6．1．1　Google文件系統(tǒng)（GFS）　2
6．2．2　HDFS文件的基本結(jié)構(gòu)　4
6．2．3　HDFS的存儲過程　5
6．2．4　YARN架構(gòu)　6
6．3　任務(wù)一 搭建Hadoop系統(tǒng)　7
6．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　7
6．3．2　子任務(wù)2 用戶創(chuàng)建和ssh設(shè)置　8
6．3．3　子任務(wù)3 Hadoop安裝和配置　9
6．3．4　子任務(wù)4 Hadoop的啟動和查看　13
6．4　分布式計算框架MapReduce　14
6．4．1　MapReduce的發(fā)展歷史　14
6．4．2　MapReduce的基本工作過程　15
6．4．3　MapReduce的特點　18
6．5　任務(wù)二 Map/Reduce的C語言實現(xiàn)　19
6．6　任務(wù)三 在Hadoop系統(tǒng)運行MapReduce程序　22
練習(xí)題　23
第7章　1
分布式數(shù)據(jù)庫—HBase　1
7．1　HBase　1
7．1．1　HBase簡介　1
7．1．2　HBase物理模型　2
7．1．3　HBase架構(gòu)及基本組件　3
7．1．4　HBase組織結(jié)構(gòu)　5
7．2　任務(wù) HBase的搭建與使用　5
7．2．1　子任務(wù)1 HBase環(huán)境的搭建　6
7．2．2　子任務(wù)2 HBase的啟動　8
7．2．3　子任務(wù)2 HBase Shell的使用　9
7．2．4　子任務(wù)3 HBase編程　10
練習(xí)題　20
第8章　1
數(shù)據(jù)倉庫平臺—Hive　1
8．1　Hive　1
8．1．1　Hive簡介　1
8．1．2　Hive的體系結(jié)構(gòu)　2
8．1．3　Hive元數(shù)據(jù)存儲　3
8．1．4　Hive的數(shù)據(jù)存儲　5
8．1．5　Hive和普通關(guān)系型數(shù)據(jù)庫的差異　6
8．2　任務(wù)一 MySQL的搭建　7
8．3　任務(wù)二 Hive的搭建與使用　9
8．2．1　子任務(wù)1 Hive環(huán)境的搭建　9
8．2．2　子任務(wù)2 Hive Client的搭建　12
8．2．3　子任務(wù)3 Hive的基本操作　13
8．2．4　子任務(wù)4 Hive內(nèi)部表與外部表的操作　14
8．2．5　子任務(wù)5 HWI的使用　16
8．2．6　子任務(wù)6 Beeline與JDBC編程　18
8．2．7　子任務(wù)6 Hive與HBase集成　23
練習(xí)題　26
第9章　1
基于拓?fù)涞牧鲾?shù)據(jù)實時計算系統(tǒng)—Storm　1
9．1　Storm簡介　1
9．2　Storm原理及其體系結(jié)構(gòu)　2
9．2．1　Storm編程模型原理　2
9．2．2　Storm體系結(jié)構(gòu)　3
9．2．3　ZooKeeper工作原理　4
9．3　任務(wù)一 搭建Storm開發(fā)環(huán)境　5
9．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　5
9．3．2　子任務(wù)2 安裝Python工具包　7
9．3．3　子任務(wù)3 安裝ZeroMQ和JZMQ工具包　7
9．3．4　子任務(wù)4 安裝Zookeeper工具包　8
9．3．5　子任務(wù)5 安裝Storm工具包　10
9．3．6　子任務(wù)6 復(fù)制工具包　11
9．3．7　子任務(wù)7 Storm的啟動　12
9．4　任務(wù)二 Storm使用實例　13
9．4．1　子任務(wù)1 安裝Maven工具包　13
9．4．2　子任務(wù)2 使用Maven管理storm-starter　15
9．4．3　子任務(wù)3 WordCountTopology實例分析　16
練習(xí)題　21
第10章　1
云存儲系統(tǒng)—Swift　1
10．1　云存儲概述　1
10．1．1　什么是云存儲　1
10．1．2　云存儲的分類　1
10．1．3　云存儲的特點　2
10．1．4　存儲系統(tǒng)類別　3
10．2　Swift簡介　4
10．2．1　Swift的發(fā)展歷程　4
10．2．2　Swift 的特性　4
10．2．3　Swift工作原理　4
10．2．4　CAP理論　5
10．2．5　環(huán)的數(shù)據(jù)結(jié)構(gòu)　6
10．2．6　Swift的系統(tǒng)架構(gòu)　7
10．3　任務(wù) Swift安裝部署　9
10．3．1　子任務(wù)1 系統(tǒng)環(huán)境設(shè)置　9
10．3．2　子任務(wù)2 安裝keystone　10
10．3．3　子任務(wù)3 安裝proxy　14
10．3．4　子任務(wù)4 安裝存儲節(jié)點　17
練習(xí)題　21