云計(jì)算與大數(shù)據(jù)技術(shù)應(yīng)用

目 錄
前言
第1章 云計(jì)算概述1
1.1 什么是云計(jì)算1
1.1.1 云計(jì)算的定義1
1.1.2 云計(jì)算的概念模型2
1.1.3 云計(jì)算的特點(diǎn)3
1.2 云計(jì)算技術(shù)發(fā)展背景3
1.3 典型的云計(jì)算基礎(chǔ)架構(gòu)7
1.4 云計(jì)算的主要服務(wù)模式9
1.4.1 基礎(chǔ)設(shè)施即服務(wù)IaaS9
1.4.2 平臺(tái)即服務(wù)PaaS10
1.4.3 軟件即服務(wù)SaaS11
1.4.4 三種服務(wù)模式之間的關(guān)系12
1.5 云計(jì)算的主要部署模式13
1.6 云計(jì)算是商業(yè)模式的創(chuàng)新14
1.7 典型的云計(jì)算產(chǎn)品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍(lán)云解決方案17
1.7.4 阿里云18
1.8 云計(jì)算技術(shù)的新發(fā)展20
1.9 我國(guó)的云計(jì)算產(chǎn)業(yè)現(xiàn)狀23
1.9.1 政府推動(dòng)云計(jì)算產(chǎn)業(yè)發(fā)展23
1.9.2 我國(guó)云計(jì)算產(chǎn)業(yè)高速發(fā)展24
習(xí)題25
第2章 大數(shù)據(jù)技術(shù)概述26
2.1 大數(shù)據(jù)技術(shù)的產(chǎn)生26
2.1.1 大數(shù)據(jù)的基本概念26
2.1.2 大數(shù)據(jù)產(chǎn)生的原因26
2.1.3 大數(shù)據(jù)概念的提出28
2.1.4 第四范式——大數(shù)據(jù)對(duì)科學(xué)研究產(chǎn)生的影響30
2.1.5 云計(jì)算與大數(shù)據(jù)的關(guān)系31
2.2 大數(shù)據(jù)的4V特征31
2.3 大數(shù)據(jù)的主要應(yīng)用及行業(yè)推動(dòng)力量32
2.3.1 大數(shù)據(jù)的主要應(yīng)用32
2.3.2 企業(yè)推動(dòng)大數(shù)據(jù)行業(yè)發(fā)展32
2.3.3 我國(guó)政府推動(dòng)大數(shù)據(jù)行業(yè)發(fā)展33
2.4 大數(shù)據(jù)的關(guān)鍵技術(shù)34
2.5 典型的大數(shù)據(jù)計(jì)算架構(gòu)35
習(xí)題35
第3章 虛擬化技術(shù)36
3.1 虛擬化技術(shù)簡(jiǎn)介36
3.1.1 虛擬化技術(shù)的概念36
3.1.2 虛擬化技術(shù)的分類38
3.1.3 虛擬化技術(shù)的優(yōu)勢(shì)和劣勢(shì)42
3.1.4 虛擬化技術(shù)與云計(jì)算43
3.2 虛擬化技術(shù)原理43
3.2.1 虛擬機(jī)技術(shù)原理43
3.2.2 CPU虛擬化原理44
3.2.3 內(nèi)存虛擬化原理46
3.2.4 網(wǎng)絡(luò)虛擬化原理47
3.3 常見的虛擬化技術(shù)解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見虛擬化技術(shù)的應(yīng)用實(shí)踐52
3.4.1 虛擬化環(huán)境的搭建53
3.4.2 克隆虛擬機(jī)54
3.4.3 虛擬機(jī)做快照56
習(xí)題59
第4章 數(shù)據(jù)中心60
4.1 數(shù)據(jù)中心的概念60
4.1.1 數(shù)據(jù)中心的定義、作用及分類60
4.1.2 數(shù)據(jù)中心的發(fā)展歷程61
4.1.3 數(shù)據(jù)中心的組成及建設(shè)原則65
4.1.4 云計(jì)算、大數(shù)據(jù)時(shí)代的數(shù)據(jù)中心發(fā)展趨勢(shì)66
4.2 數(shù)據(jù)中心的基本單元——服務(wù)器66
4.3 數(shù)據(jù)中心選址69
4.4 數(shù)據(jù)中心的能耗69
4.4.1 數(shù)據(jù)中心能耗評(píng)估70
4.4.2 數(shù)據(jù)中心的主要節(jié)能措施71
習(xí)題72
第5章 并行計(jì)算與集群技術(shù)73
5.1 并行計(jì)算概述73
5.1.1 并行計(jì)算的概念73
5.1.2 并行計(jì)算的層次75
5.1.3 并行計(jì)算機(jī)的發(fā)展75
5.1.4 并行計(jì)算與分布式計(jì)算77
5.1.5 并行計(jì)算與云計(jì)算78
5.2 云計(jì)算基礎(chǔ)架構(gòu)——集群技術(shù)79
5.2.1 集群的基本概念79
5.2.2 集群系統(tǒng)的分類80
5.2.3 集群文件系統(tǒng)80
5.3 并行計(jì)算的分類81
5.3.1 按Flynn分類81
5.3.2 按應(yīng)用的計(jì)算特征分類82
5.3.3 按結(jié)構(gòu)模型分類83
5.4 并行計(jì)算相關(guān)技術(shù)84
5.4.1 并行計(jì)算的關(guān)鍵技術(shù)84
5.4.2 并行計(jì)算的性能估算86
5.5 并行程序設(shè)計(jì)——MPI編程87
5.5.1 MPI簡(jiǎn)介87
5.5.2 一個(gè)簡(jiǎn)單的MPI程序?qū)崿F(xiàn)88
5.5.3 MPI消息90
5.5.4 MPI的消息傳遞過程90
5.5.5 MPI常用基本函數(shù)91
5.5.6 有消息傳遞的并行程序91
習(xí)題93
第6章 云存儲(chǔ)技術(shù)94
6.1 云存儲(chǔ)概述94
6.1.1 云存儲(chǔ)的概念94
6.1.2 云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)95
6.1.3 云存儲(chǔ)的實(shí)現(xiàn)基礎(chǔ)96
6.1.4 云存儲(chǔ)的特性98
6.2 云存儲(chǔ)與云計(jì)算99
6.3 云存儲(chǔ)的應(yīng)用100
6.3.1 個(gè)人級(jí)云存儲(chǔ)的應(yīng)用100
6.3.2 企業(yè)級(jí)云存儲(chǔ)的應(yīng)用100
6.4 云存儲(chǔ)發(fā)展的關(guān)注點(diǎn)101
習(xí)題102
第7章　OpenStack——功能強(qiáng)大的IaaS平臺(tái)103
7.1 OpenStack架構(gòu)103
7.2 計(jì)算服務(wù)模塊Nova104
7.3 網(wǎng)絡(luò)服務(wù)模塊Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網(wǎng)絡(luò)109
7.4 塊存儲(chǔ)服務(wù)模塊Cinder110
7.5 對(duì)象存儲(chǔ)服務(wù)模塊Swift111
7.6 身份認(rèn)證模塊Keystone115
7.7 鏡像模塊Glance119
7.8 儀表盤服務(wù)模塊Horizon121
7.9 監(jiān)控計(jì)量服務(wù)模塊Ceilometer122
習(xí)題123
第8章 Hadoop——分布式大數(shù)據(jù)開發(fā)平臺(tái)124
8.1 Hadoop簡(jiǎn)介124
8.1.1 Hadoop與分布式開發(fā)技術(shù)124
8.1.2 Hadoop的體系架構(gòu)125
8.1.3 Hadoop集群的架構(gòu)127
8.2 分布式文件系統(tǒng)HDFS129
8.2.1 分布式文件系統(tǒng)概述129
8.2.2 HDFS的架構(gòu)及讀寫流程131
8.3 分布式計(jì)算框架MapReduce133
8.3.1 MapReduce編程模型133
8.3.2 MapReduce數(shù)據(jù)流135
8.3.3 MapReduce任務(wù)運(yùn)行流程136
8.4 列式數(shù)據(jù)庫(kù)HBase138
8.4.1 HBase列數(shù)據(jù)庫(kù)介紹139
8.4.2 理解HBase的表結(jié)構(gòu)139
8.5 搭建Hadoop開發(fā)環(huán)境142
8.5.1 相關(guān)準(zhǔn)備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop并配置Hadoop環(huán)境變量144
8.5.4 修改Hadoop配置文件145
8.5.5 將配置好的Hadoop文件復(fù)制到其他結(jié)點(diǎn)并格式化146
8.5.6 啟動(dòng)、停止Hadoop146
8.5.7 運(yùn)行測(cè)試程序WordCount147
習(xí)題148
第9章 Spark—基于內(nèi)存的大數(shù)據(jù)計(jì)算框架149
9.1 Spark概述149
9.2 Spark的運(yùn)行機(jī)制150
9.3 Spark的運(yùn)行模式152
9.3.1 Stan