云計(jì)算大數(shù)據(jù)處理

定　價(jià)：￥118.00

作　者：	劉鵬，于全，楊震宇，陳偉，王磊 ... 著
出版社：	人民郵電出版社
叢編項(xiàng)：	國(guó)之重器出版工程
標(biāo)　簽：	暫缺

購(gòu)買這本書可以去

ISBN：	9787115487650	出版時(shí)間：	2018-08-01	包裝：	平裝
開本：	小16開	頁(yè)數(shù)：	252	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　本書介紹了基于云計(jì)算的大數(shù)據(jù)處理技術(shù)，重點(diǎn)介紹了一款高效的、實(shí)時(shí)分析處理海量數(shù)據(jù)的強(qiáng)有力工具—數(shù)據(jù)立方。數(shù)據(jù)立方是針對(duì)大數(shù)據(jù)處理的分布式數(shù)據(jù)庫(kù)，能夠可靠地對(duì)大數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，具有即時(shí)響應(yīng)多用戶并發(fā)請(qǐng)求的能力。本書通過對(duì)當(dāng)前主流的大數(shù)據(jù)處理系統(tǒng)進(jìn)行深入剖析，闡述了數(shù)據(jù)立方產(chǎn)生的背景，介紹了數(shù)據(jù)立方的整體架構(gòu)以及安裝和詳細(xì)開發(fā)流程，并給出了4個(gè)完整的數(shù)據(jù)立方綜合應(yīng)用實(shí)例。所有實(shí)例都經(jīng)過驗(yàn)證并附有詳細(xì)的步驟說(shuō)明，無(wú)論是對(duì)于云計(jì)算的初學(xué)者還是想進(jìn)一步深入學(xué)習(xí)大數(shù)據(jù)處理技術(shù)的研究和開發(fā)人員都有很好的參考價(jià)值。讀者也可從本書配套網(wǎng)站中國(guó)云計(jì)算和中國(guó)大數(shù)據(jù)獲取更多資料或求解疑難問題。

作者簡(jiǎn)介

　　劉鵬解放軍理工大學(xué)教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士畢業(yè)?，F(xiàn)任中國(guó)云計(jì)算專家咨詢委員會(huì)副主任/秘書長(zhǎng)、中國(guó)大數(shù)據(jù)專家委員會(huì)委員、中國(guó)電子學(xué)會(huì)云計(jì)算專家委員會(huì)云存儲(chǔ)組組長(zhǎng)、工業(yè)和信息化部云計(jì)算研究中心專家、江蘇省云計(jì)算論壇主席/專家委員會(huì)主任。在大數(shù)據(jù)、云計(jì)算和網(wǎng)格計(jì)算領(lǐng)域具有15年的研究積累，是我國(guó)該領(lǐng)域知名專家，在大數(shù)據(jù)庫(kù)、大數(shù)據(jù)挖掘、分布式存儲(chǔ)等技術(shù)領(lǐng)域卓有建樹。曾于2002年獲得全球數(shù)據(jù)處理比賽PennySort世界冠軍。主持完成科研項(xiàng)目20余項(xiàng)，發(fā)表論文80余篇，出版專業(yè)書籍18本。獲部級(jí)科技進(jìn)步二等獎(jiǎng)4項(xiàng)，三等獎(jiǎng)4項(xiàng)。獲全軍“十大學(xué)習(xí)成才標(biāo)兵”（****）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號(hào)。主編的《云計(jì)算》教材被數(shù)百家高校用作教材，創(chuàng)辦的中國(guó)云計(jì)算和中國(guó)大數(shù)據(jù)網(wǎng)站分別為云計(jì)算和大數(shù)據(jù)領(lǐng)域知名的網(wǎng)站。于全軍事科學(xué)院系統(tǒng)工程研究院研究員，中國(guó)工程院院士，IEEE高級(jí)會(huì)員，中國(guó)電子學(xué)會(huì)和中國(guó)指控學(xué)會(huì)理事，清華大學(xué)、上海交通大學(xué)、北京理工大學(xué)博士生導(dǎo)師。我國(guó)戰(zhàn)術(shù)通信領(lǐng)域的學(xué)科帶頭人，在通信與信息系統(tǒng)的發(fā)展戰(zhàn)略、體制論證、系統(tǒng)仿真、綜合集成和關(guān)鍵技術(shù)等方面取得了豐碩成果，先后完成“認(rèn)知無(wú)線網(wǎng)絡(luò)基礎(chǔ)理論與關(guān)鍵技術(shù)研究——無(wú)線網(wǎng)絡(luò)主動(dòng)認(rèn)知方法研究”“新一代寬帶無(wú)線移動(dòng)通信網(wǎng)——面向WRC11的頻譜有效利用關(guān)鍵技術(shù)研究及驗(yàn)證”等多個(gè)國(guó)家“973”計(jì)劃項(xiàng)目和自然科學(xué)基金項(xiàng)目。曾獲國(guó)家科技進(jìn)步一等獎(jiǎng)1項(xiàng)、二等獎(jiǎng)1項(xiàng)，部級(jí)科技進(jìn)步一等獎(jiǎng)4項(xiàng)；申請(qǐng)發(fā)明專利14項(xiàng)，出版學(xué)術(shù)專著7部；被評(píng)為全國(guó)優(yōu)秀科技工作者、中國(guó)青年五四獎(jiǎng)?wù)聵?biāo)兵、全軍首屆十大學(xué)習(xí)成才標(biāo)兵，入選新世紀(jì)百千萬(wàn)人才工程，獲中國(guó)科學(xué)技術(shù)協(xié)會(huì)求是杰出青年獎(jiǎng)、第九屆中國(guó)青年科技獎(jiǎng)、何梁何利基金“科學(xué)與技術(shù)進(jìn)步獎(jiǎng)”等。

圖書目錄

第1章　大數(shù)據(jù)挑戰(zhàn) 001
1．1　當(dāng)前面臨的大數(shù)據(jù)挑戰(zhàn) 002
1．1．1　大數(shù)據(jù)急劇膨脹 002
1．1．2　大數(shù)據(jù)智能分析 004
1．1．3　大數(shù)據(jù)深度挖掘 005
1．1．4　業(yè)務(wù)與技術(shù)脫節(jié) 006
1．2　大數(shù)據(jù)催生云計(jì)算 007
1．2．1　云計(jì)算不是偶然 007
1．2．2　云計(jì)算帶來(lái)挑戰(zhàn)與機(jī)遇 011
1．2．3　云計(jì)算對(duì)大數(shù)據(jù)的意義 014
1．2．4　云計(jì)算的未來(lái)展望 015
1．3　大數(shù)據(jù)存儲(chǔ) 016
1．3．1　存儲(chǔ)僅是第一步 016
1．3．2　行存儲(chǔ)和列存儲(chǔ) 018
1．3．3　PB級(jí)大數(shù)據(jù)存儲(chǔ) 021
1．3．4　大數(shù)據(jù)存儲(chǔ)的未來(lái) 024
1．4　大數(shù)據(jù)處理 027
1．4．1　大數(shù)據(jù)處理的瓶頸 027
1．4．2　大數(shù)據(jù)處理的需求 031
1．4．3　大數(shù)據(jù)處理技術(shù)決定未來(lái) 032
1．4．4　大數(shù)據(jù)處理解決方案 035
參考文獻(xiàn) 037
第2章　當(dāng)前的大數(shù)據(jù)處理系統(tǒng) 039
2．1　開源大數(shù)據(jù)處理平臺(tái) 040
2．1．1　Hadoop 040
2．1．2　MapReduce 044
2．2　NoSQL數(shù)據(jù)庫(kù) 047
2．2．1　Google BigTable的開源Java實(shí)現(xiàn)：HBase 047
2．2．2　純分布式數(shù)據(jù)庫(kù)：Cassandra 050
2．2．3　NoSQL數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景 051
2．3　數(shù)據(jù)倉(cāng)庫(kù)平臺(tái) 052
2．3．1　Hive 052
2．3．2　數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)架構(gòu) 052
2．3．3　數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的實(shí)現(xiàn) 053
參考文獻(xiàn) 054
第3章　數(shù)據(jù)立方簡(jiǎn)介 055
3．1　數(shù)據(jù)立方的產(chǎn)生背景 056
3．2　數(shù)據(jù)立方的相關(guān)技術(shù) 056
3．2．1　云計(jì)算中的大數(shù)據(jù)處理技術(shù)—MapReduce 056
3．2．2　并行數(shù)據(jù)庫(kù)技術(shù) 058
3．2．3　云計(jì)算與數(shù)據(jù)庫(kù)相結(jié)合的技術(shù) 059
3．3　數(shù)據(jù)立方的架構(gòu)以及與Hadoop的關(guān)系 060
3．3．1　數(shù)據(jù)立方的體系架構(gòu) 061
3．3．2　數(shù)據(jù)立方與Hadoop的關(guān)系 067
參考文獻(xiàn) 068
第4章　數(shù)據(jù)立方及配套環(huán)境的安裝 069
4．1　安裝流程 070
4．2　操作系統(tǒng)的安裝 070
4．2．1　CentOS 6．2的安裝 070
4．2．2　JDK的安裝 075
4．2．3　配置SSH 075
4．2．4　配置/etc/hosts 076
4．2．5　修改機(jī)器主機(jī)名 077
4．2．6　配置NFS與NTP 077
4．3　Hadoop的安裝 078
4．3．1　Hadoop的版本 078
4．3．2　HDFS的配置安裝 078
4．3．3　MapReduce的配置安裝 082
4．4　數(shù)據(jù)立方的配置安裝 084
4．4．1　MySQL-Connector的安裝 084
4．4．2　編輯數(shù)據(jù)立方的配置文件 084
4．4．3　數(shù)據(jù)立方的啟動(dòng) 088
4．5　監(jiān)控工具Ganglia的安裝 088
4．5．1　安裝依賴 088
4．5．2　安裝Ganglia 090
4．5．3　配置Ganglia 090
4．6　數(shù)據(jù)導(dǎo)入工具Sqoop的安裝 092
4．6．1　安裝前提 092
4．6．2　安裝步驟 092
參考文獻(xiàn) 093
第5章　Hello World數(shù)據(jù)立方快速入門 095
5．1　智慧交通數(shù)據(jù)處理實(shí)例 096
5．1．1　實(shí)例背景 096
5．1．2　建表 098
5．1．3　數(shù)據(jù)入庫(kù) 099
5．1．4　數(shù)據(jù)查詢 099
5．2　編程實(shí)現(xiàn) 100
第6章　數(shù)據(jù)立方開發(fā) 103
6．1　數(shù)據(jù)立方的開發(fā)說(shuō)明 104
6．2　數(shù)據(jù)立方SQL規(guī)范 105
6．2．1　數(shù)據(jù)定義與數(shù)據(jù)操作語(yǔ)言 106
6．2．2　數(shù)據(jù)查詢語(yǔ)言 114
6．3　數(shù)據(jù)入庫(kù)接口開發(fā) 122
6．3．1　單條或多條記錄入庫(kù)Java開發(fā)包 122
6．3．2　開發(fā)說(shuō)明 122
6．3．3　示例 123
6．4　數(shù)據(jù)查詢接口開發(fā) 124
6．4．1　Java開發(fā)包 124
6．4．2　接口介紹 125
6．4．3　示例 126
6．5　數(shù)據(jù)導(dǎo)入工具Sqoop命令及其使用 126
6．5．1　Sqoop命令及通用參數(shù) 127
6．5．2　Sqoop命令的使用 128
第7章　數(shù)據(jù)立方的維護(hù) 129
7．1　HDFS的維護(hù) 130
7．1．1　HDFS的dfsadmin命令 130
7．1．2　HDFS的Balancer工具 133
7．2　Shell的使用 135
7．2．1　數(shù)據(jù)立方Shell說(shuō)明 135
7．2．2　數(shù)據(jù)定義與數(shù)據(jù)操作的Shell 135
7．2．3　數(shù)據(jù)查詢的Shell 136
7．3　數(shù)據(jù)立方的常見問題及其解決方法 136
7．3．1　問題1：datacube-shell．sh啟動(dòng)后連接不上服務(wù)器 136
7．3．2　問題2：?jiǎn)?dòng)時(shí)，有時(shí)可以看到報(bào)錯(cuò)信息 137
7．3．3　問題3：查看運(yùn)行日志 138
7．4　Sqoop的常見問題及其解決方法 138
7．4．1　MySQL的用戶問題 138
7．4．2　MySQL的權(quán)限問題 139
7．4．3　Sqoop的Path問題 139
7．4．4　Sqoop的Import問題 140
7．5　數(shù)據(jù)立方管理系統(tǒng) 140
7．5．1　登錄 140
7．5．2　集群管理 141
7．5．3　數(shù)據(jù)管理 143
7．5．4　表結(jié)構(gòu)管理 143
7．5．5　數(shù)據(jù)入庫(kù) 144
7．5．6　在線查詢 144
7．5．7　對(duì)外接口 145
7．5．8　文件管理 145
7．5．9　任務(wù)管理 146
7．5．10　告警管理 146
7．5．11　故障管理 148
參考文獻(xiàn) 148
第8章　數(shù)據(jù)立方的可靠性 149
8．1　Hadoop的可靠性 150
8．1．1　HDFS中NameNode的單點(diǎn)問題 150
8．1．2　HDFS數(shù)據(jù)塊副本機(jī)制 151
8．1．3　HDFS心跳機(jī)制 152
8．1．4　HDFS負(fù)載均衡 152
8．1．5　MapReduce容錯(cuò) 153
8．2　Hadoop的SecondaryNameNode機(jī)制 154
8．2．1　磁盤鏡像與日志文件 154
8．2．2　SecondaryNameNode更新鏡像的流程 154
8．3　Avatar機(jī)制 157
8．3．1　Avatar系統(tǒng)架構(gòu) 158
8．3．2　Avatar元數(shù)據(jù)同步機(jī)制 159
8．3．3　故障切換過程 161
8．3．4　Avatar運(yùn)行流程 163
8．3．5　Avatar故障切換流程 169
8．4　Avatar實(shí)戰(zhàn) 173
8．4．1　實(shí)驗(yàn)環(huán)境 173
8．4．2　Avatar的編譯 174
8．4．3　Avatar的安裝和配置 176
8．4．4　Avatar啟動(dòng)運(yùn)行與宕機(jī)切換 185
8．5　數(shù)據(jù)立方的工作流程及可靠性 188
8．5．1　數(shù)據(jù)立方的架構(gòu) 188
8．5．2　數(shù)據(jù)立方的工作流程 189
8．5．3　數(shù)據(jù)立方的可靠性 189
參考文獻(xiàn) 190
第9章　數(shù)據(jù)統(tǒng)計(jì)分析實(shí)例——供電信息采集系統(tǒng) 191
9．1　客戶需求分析 192
9．1．1　測(cè)試過程及數(shù)據(jù)量描述 192
9．1．2　測(cè)試過程分解及效率統(tǒng)計(jì) 193
9．2　數(shù)據(jù)表設(shè)計(jì) 197
9．3　查詢語(yǔ)句設(shè)計(jì)與結(jié)果展現(xiàn) 200
9．4　查詢優(yōu)化 201
9．4．1　存儲(chǔ)方面的優(yōu)化 201
9．4．2　內(nèi)存方面的優(yōu)化 202
9．5　性能測(cè)試結(jié)果 202
9．5．1　數(shù)據(jù)下載解壓及標(biāo)記 202
9．5．2　數(shù)據(jù)解析入庫(kù) 203
9．5．3　數(shù)據(jù)計(jì)算流程 204
9．5．4　數(shù)據(jù)導(dǎo)入Oracle數(shù)據(jù)庫(kù) 205
9．5．5　查詢總時(shí)長(zhǎng)統(tǒng)計(jì) 206
第10章　在線數(shù)據(jù)檢索實(shí)例——移動(dòng)信令分析云平臺(tái) 207
10．1　需求分析 208
10．2　數(shù)據(jù)表設(shè)計(jì) 210
10．2．1　CDR數(shù)據(jù)文件的檢測(cè)與索引創(chuàng)建任務(wù)調(diào)度 211
10．2．2　從HDFS讀取數(shù)據(jù)并創(chuàng)建索引 212
10．2．3　查詢CDR信息 213
10．3　查詢語(yǔ)句設(shè)計(jì)與結(jié)果展現(xiàn) 213
10．3．1　CDR文件檢測(cè)和索引創(chuàng)建任務(wù)調(diào)度程序 213
10．3．2　讀取CDR數(shù)據(jù)和索引創(chuàng)建處理 218
10．3．3　CDR查詢 222
10．4　查詢優(yōu)化 225
10．5　性能測(cè)試結(jié)果 226
第11章　實(shí)時(shí)數(shù)據(jù)處理實(shí)例——地震數(shù)據(jù) 227
11．1　需求分析 228
11．2　數(shù)據(jù)表設(shè)計(jì) 229
11．3　查詢語(yǔ)句設(shè)計(jì)與結(jié)果展現(xiàn) 231
11．4　查詢優(yōu)化 232
11．4．1　存儲(chǔ)方面的優(yōu)化 232
11．4．2　計(jì)算方面的優(yōu)化 232
11．5　性能測(cè)試結(jié)果 233
11．5．1　單機(jī)模擬集群測(cè)試 233
11．5．2　字段測(cè)試 233
11．5．3　排序測(cè)試 234
11．5．4　隨機(jī)讀寫測(cè)試 235
附錄　大數(shù)據(jù)和人工智能實(shí)驗(yàn)環(huán)境 237
名詞索引 251