云計算大數據處理

定　價：￥118.00

作　者：	劉鵬，于全，楊震宇，陳偉，王磊 ... 著
出版社：	人民郵電出版社
叢編項：	國之重器出版工程
標　簽：	暫缺

購買這本書可以去

ISBN：	9787115487650	出版時間：	2018-08-01	包裝：	平裝
開本：	小16開	頁數：	252	字數：

內容簡介

　　本書介紹了基于云計算的大數據處理技術，重點介紹了一款高效的、實時分析處理海量數據的強有力工具—數據立方。數據立方是針對大數據處理的分布式數據庫，能夠可靠地對大數據進行實時處理，具有即時響應多用戶并發(fā)請求的能力。本書通過對當前主流的大數據處理系統進行深入剖析，闡述了數據立方產生的背景，介紹了數據立方的整體架構以及安裝和詳細開發(fā)流程，并給出了4個完整的數據立方綜合應用實例。所有實例都經過驗證并附有詳細的步驟說明，無論是對于云計算的初學者還是想進一步深入學習大數據處理技術的研究和開發(fā)人員都有很好的參考價值。讀者也可從本書配套網站中國云計算和中國大數據獲取更多資料或求解疑難問題。

作者簡介

　　劉鵬解放軍理工大學教授、博導、學科帶頭人，清華大學博士畢業(yè)?，F任中國云計算專家咨詢委員會副主任/秘書長、中國大數據專家委員會委員、中國電子學會云計算專家委員會云存儲組組長、工業(yè)和信息化部云計算研究中心專家、江蘇省云計算論壇主席/專家委員會主任。在大數據、云計算和網格計算領域具有15年的研究積累，是我國該領域知名專家，在大數據庫、大數據挖掘、分布式存儲等技術領域卓有建樹。曾于2002年獲得全球數據處理比賽PennySort世界冠軍。主持完成科研項目20余項，發(fā)表論文80余篇，出版專業(yè)書籍18本。獲部級科技進步二等獎4項，三等獎4項。獲全軍“十大學習成才標兵”（****）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學技術帶頭人、清華大學“學術新秀”等稱號。主編的《云計算》教材被數百家高校用作教材，創(chuàng)辦的中國云計算和中國大數據網站分別為云計算和大數據領域知名的網站。于全軍事科學院系統工程研究院研究員，中國工程院院士，IEEE高級會員，中國電子學會和中國指控學會理事，清華大學、上海交通大學、北京理工大學博士生導師。我國戰(zhàn)術通信領域的學科帶頭人，在通信與信息系統的發(fā)展戰(zhàn)略、體制論證、系統仿真、綜合集成和關鍵技術等方面取得了豐碩成果，先后完成“認知無線網絡基礎理論與關鍵技術研究——無線網絡主動認知方法研究”“新一代寬帶無線移動通信網——面向WRC11的頻譜有效利用關鍵技術研究及驗證”等多個國家“973”計劃項目和自然科學基金項目。曾獲國家科技進步一等獎1項、二等獎1項，部級科技進步一等獎4項；申請發(fā)明專利14項，出版學術專著7部；被評為全國優(yōu)秀科技工作者、中國青年五四獎章標兵、全軍首屆十大學習成才標兵，入選新世紀百千萬人才工程，獲中國科學技術協會求是杰出青年獎、第九屆中國青年科技獎、何梁何利基金“科學與技術進步獎”等。

圖書目錄

第1章　大數據挑戰(zhàn) 001
1．1　當前面臨的大數據挑戰(zhàn) 002
1．1．1　大數據急劇膨脹 002
1．1．2　大數據智能分析 004
1．1．3　大數據深度挖掘 005
1．1．4　業(yè)務與技術脫節(jié) 006
1．2　大數據催生云計算 007
1．2．1　云計算不是偶然 007
1．2．2　云計算帶來挑戰(zhàn)與機遇 011
1．2．3　云計算對大數據的意義 014
1．2．4　云計算的未來展望 015
1．3　大數據存儲 016
1．3．1　存儲僅是第一步 016
1．3．2　行存儲和列存儲 018
1．3．3　PB級大數據存儲 021
1．3．4　大數據存儲的未來 024
1．4　大數據處理 027
1．4．1　大數據處理的瓶頸 027
1．4．2　大數據處理的需求 031
1．4．3　大數據處理技術決定未來 032
1．4．4　大數據處理解決方案 035
參考文獻 037
第2章　當前的大數據處理系統 039
2．1　開源大數據處理平臺 040
2．1．1　Hadoop 040
2．1．2　MapReduce 044
2．2　NoSQL數據庫 047
2．2．1　Google BigTable的開源Java實現：HBase 047
2．2．2　純分布式數據庫：Cassandra 050
2．2．3　NoSQL數據庫的應用場景 051
2．3　數據倉庫平臺 052
2．3．1　Hive 052
2．3．2　數據倉庫平臺架構 052
2．3．3　數據倉庫平臺的實現 053
參考文獻 054
第3章　數據立方簡介 055
3．1　數據立方的產生背景 056
3．2　數據立方的相關技術 056
3．2．1　云計算中的大數據處理技術—MapReduce 056
3．2．2　并行數據庫技術 058
3．2．3　云計算與數據庫相結合的技術 059
3．3　數據立方的架構以及與Hadoop的關系 060
3．3．1　數據立方的體系架構 061
3．3．2　數據立方與Hadoop的關系 067
參考文獻 068
第4章　數據立方及配套環(huán)境的安裝 069
4．1　安裝流程 070
4．2　操作系統的安裝 070
4．2．1　CentOS 6．2的安裝 070
4．2．2　JDK的安裝 075
4．2．3　配置SSH 075
4．2．4　配置/etc/hosts 076
4．2．5　修改機器主機名 077
4．2．6　配置NFS與NTP 077
4．3　Hadoop的安裝 078
4．3．1　Hadoop的版本 078
4．3．2　HDFS的配置安裝 078
4．3．3　MapReduce的配置安裝 082
4．4　數據立方的配置安裝 084
4．4．1　MySQL-Connector的安裝 084
4．4．2　編輯數據立方的配置文件 084
4．4．3　數據立方的啟動 088
4．5　監(jiān)控工具Ganglia的安裝 088
4．5．1　安裝依賴 088
4．5．2　安裝Ganglia 090
4．5．3　配置Ganglia 090
4．6　數據導入工具Sqoop的安裝 092
4．6．1　安裝前提 092
4．6．2　安裝步驟 092
參考文獻 093
第5章　Hello World數據立方快速入門 095
5．1　智慧交通數據處理實例 096
5．1．1　實例背景 096
5．1．2　建表 098
5．1．3　數據入庫 099
5．1．4　數據查詢 099
5．2　編程實現 100
第6章　數據立方開發(fā) 103
6．1　數據立方的開發(fā)說明 104
6．2　數據立方SQL規(guī)范 105
6．2．1　數據定義與數據操作語言 106
6．2．2　數據查詢語言 114
6．3　數據入庫接口開發(fā) 122
6．3．1　單條或多條記錄入庫Java開發(fā)包 122
6．3．2　開發(fā)說明 122
6．3．3　示例 123
6．4　數據查詢接口開發(fā) 124
6．4．1　Java開發(fā)包 124
6．4．2　接口介紹 125
6．4．3　示例 126
6．5　數據導入工具Sqoop命令及其使用 126
6．5．1　Sqoop命令及通用參數 127
6．5．2　Sqoop命令的使用 128
第7章　數據立方的維護 129
7．1　HDFS的維護 130
7．1．1　HDFS的dfsadmin命令 130
7．1．2　HDFS的Balancer工具 133
7．2　Shell的使用 135
7．2．1　數據立方Shell說明 135
7．2．2　數據定義與數據操作的Shell 135
7．2．3　數據查詢的Shell 136
7．3　數據立方的常見問題及其解決方法 136
7．3．1　問題1：datacube-shell．sh啟動后連接不上服務器 136
7．3．2　問題2：啟動時，有時可以看到報錯信息 137
7．3．3　問題3：查看運行日志 138
7．4　Sqoop的常見問題及其解決方法 138
7．4．1　MySQL的用戶問題 138
7．4．2　MySQL的權限問題 139
7．4．3　Sqoop的Path問題 139
7．4．4　Sqoop的Import問題 140
7．5　數據立方管理系統 140
7．5．1　登錄 140
7．5．2　集群管理 141
7．5．3　數據管理 143
7．5．4　表結構管理 143
7．5．5　數據入庫 144
7．5．6　在線查詢 144
7．5．7　對外接口 145
7．5．8　文件管理 145
7．5．9　任務管理 146
7．5．10　告警管理 146
7．5．11　故障管理 148
參考文獻 148
第8章　數據立方的可靠性 149
8．1　Hadoop的可靠性 150
8．1．1　HDFS中NameNode的單點問題 150
8．1．2　HDFS數據塊副本機制 151
8．1．3　HDFS心跳機制 152
8．1．4　HDFS負載均衡 152
8．1．5　MapReduce容錯 153
8．2　Hadoop的SecondaryNameNode機制 154
8．2．1　磁盤鏡像與日志文件 154
8．2．2　SecondaryNameNode更新鏡像的流程 154
8．3　Avatar機制 157
8．3．1　Avatar系統架構 158
8．3．2　Avatar元數據同步機制 159
8．3．3　故障切換過程 161
8．3．4　Avatar運行流程 163
8．3．5　Avatar故障切換流程 169
8．4　Avatar實戰(zhàn) 173
8．4．1　實驗環(huán)境 173
8．4．2　Avatar的編譯 174
8．4．3　Avatar的安裝和配置 176
8．4．4　Avatar啟動運行與宕機切換 185
8．5　數據立方的工作流程及可靠性 188
8．5．1　數據立方的架構 188
8．5．2　數據立方的工作流程 189
8．5．3　數據立方的可靠性 189
參考文獻 190
第9章　數據統計分析實例——供電信息采集系統 191
9．1　客戶需求分析 192
9．1．1　測試過程及數據量描述 192
9．1．2　測試過程分解及效率統計 193
9．2　數據表設計 197
9．3　查詢語句設計與結果展現 200
9．4　查詢優(yōu)化 201
9．4．1　存儲方面的優(yōu)化 201
9．4．2　內存方面的優(yōu)化 202
9．5　性能測試結果 202
9．5．1　數據下載解壓及標記 202
9．5．2　數據解析入庫 203
9．5．3　數據計算流程 204
9．5．4　數據導入Oracle數據庫 205
9．5．5　查詢總時長統計 206
第10章　在線數據檢索實例——移動信令分析云平臺 207
10．1　需求分析 208
10．2　數據表設計 210
10．2．1　CDR數據文件的檢測與索引創(chuàng)建任務調度 211
10．2．2　從HDFS讀取數據并創(chuàng)建索引 212
10．2．3　查詢CDR信息 213
10．3　查詢語句設計與結果展現 213
10．3．1　CDR文件檢測和索引創(chuàng)建任務調度程序 213
10．3．2　讀取CDR數據和索引創(chuàng)建處理 218
10．3．3　CDR查詢 222
10．4　查詢優(yōu)化 225
10．5　性能測試結果 226
第11章　實時數據處理實例——地震數據 227
11．1　需求分析 228
11．2　數據表設計 229
11．3　查詢語句設計與結果展現 231
11．4　查詢優(yōu)化 232
11．4．1　存儲方面的優(yōu)化 232
11．4．2　計算方面的優(yōu)化 232
11．5　性能測試結果 233
11．5．1　單機模擬集群測試 233
11．5．2　字段測試 233
11．5．3　排序測試 234
11．5．4　隨機讀寫測試 235
附錄　大數據和人工智能實驗環(huán)境 237
名詞索引 251