云計(jì)算大數(shù)據(jù)處理

第1章 大數(shù)據(jù)挑戰(zhàn)
1．1 當(dāng)前面臨的大數(shù)據(jù)挑戰(zhàn)
1．1．1 大數(shù)據(jù)急劇膨脹
1．1．2 大數(shù)據(jù)智能分析
1．1．3 大數(shù)據(jù)深度挖掘
1．1．4 業(yè)務(wù)與技術(shù)脫節(jié)
1．2 大數(shù)據(jù)催生云計(jì)算
1．2．1 云計(jì)算不是偶然
1．2．2 云計(jì)算帶來(lái)挑戰(zhàn)與機(jī)遇
1．2．3 云計(jì)算對(duì)大數(shù)據(jù)的意義
1．2．4 云計(jì)算未來(lái)展望
1．3 大數(shù)據(jù)存儲(chǔ)
1．3．1 存儲(chǔ)僅是第一步
1．3．2 行存儲(chǔ)還是列存儲(chǔ)
1．3．3 PB級(jí)大數(shù)據(jù)存儲(chǔ)
1．3．4 大數(shù)據(jù)存儲(chǔ)的未來(lái)
1．4 大數(shù)據(jù)處理
1．4．1 大數(shù)據(jù)處理的瓶頸
1．4．2 大數(shù)據(jù)處理的需求
1．4．3 大數(shù)據(jù)處理技術(shù)決定未來(lái)
1．4．4 大數(shù)據(jù)處理解決方案
第2章 當(dāng)前的大數(shù)據(jù)處理系統(tǒng)
2．1 開源大數(shù)據(jù)處理平臺(tái)
2．1．1 Hadoop
2．1．2 MapReduce
2．2 NoSQL數(shù)據(jù)庫(kù)
2．2．1 Google BigTable 的開源JAVA實(shí)現(xiàn)：HBase
2．2．2 純分布式數(shù)據(jù)庫(kù)：Cassandra
2．2．3 NoSQL數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景
2．3 數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)
2．3．1 Hive
第3章 數(shù)據(jù)立方簡(jiǎn)介
3．1 數(shù)據(jù)立方產(chǎn)生背景
3．2 相關(guān)技術(shù)
3．2．1 云計(jì)算中的大數(shù)據(jù)處理技術(shù)－－MapReduce
3．2．2 并行數(shù)據(jù)庫(kù)技術(shù)
3．2．3 云計(jì)算與數(shù)據(jù)庫(kù)相結(jié)合的技術(shù)
3．3 新一代EB級(jí)云計(jì)算數(shù)據(jù)庫(kù)－－數(shù)據(jù)立方
3．3．1 數(shù)據(jù)立方的體系架構(gòu)
3．3．2 數(shù)據(jù)立方與Hadoop的關(guān)系
第4章 數(shù)據(jù)立方及配套環(huán)境的安裝
4．1 安裝流程
4．2 操作系統(tǒng)的安裝
4．2．1 CentOS6．3的安裝
4．2．2 安裝JDK
4．2．3 配置SSH
4．3 HADOOP的安裝
4．3．1 Hadoop的版本
4．3．2 HDFS的配置安裝
4．3．3 MapReduce的配置安裝
4．4 數(shù)據(jù)立方的配置安裝
4．4．1 安裝mysql-connector
4．4．2 編輯數(shù)據(jù)立方的配置文件
4．4．3 數(shù)據(jù)立方的啟動(dòng)
4．5 監(jiān)控工具GANGLIA的安裝
4．5．1安裝依賴
4．5．2 安裝ganglia
4．5．3 配置ganglia
4．6 數(shù)據(jù)導(dǎo)入工具SQOOP的安裝
4．6．1 安裝前提
4．6．2 安裝步驟
第5章 hello word數(shù)據(jù)立方快速入門
5．1 智慧交通數(shù)據(jù)處理實(shí)例
5．1．1 智慧交通數(shù)據(jù)處理實(shí)例背景
5．1．2 建表
5．1．3 數(shù)據(jù)入庫(kù)
5．1．4 數(shù)據(jù)查詢
5．2 編程實(shí)現(xiàn)
5．2．1 JAVA開發(fā)包
5．2．2 示例
5．3 總結(jié)

第6章 數(shù)據(jù)立方開發(fā)
6．1 開發(fā)說明
6．2 數(shù)據(jù)立方SQL規(guī)范
6．2．1 數(shù)據(jù)定義與數(shù)據(jù)操作語(yǔ)言
6．2．2 數(shù)據(jù)查詢語(yǔ)言
6．3 數(shù)據(jù)入庫(kù)接口開發(fā)
6．3．1 單條多條記錄入庫(kù)JAVA開發(fā)包
6．3．2 開發(fā)說明
6．3．3 示例
6．4 數(shù)據(jù)查詢接口開發(fā)
6．4．1 JAVA開發(fā)包
6．4．2 接口介紹
6．4．3 示例
6．5 數(shù)據(jù)導(dǎo)入工具SQOOP的使用
6．5．1 SQOOP命令
6．5．2 SQOOP命令的使用
第7章 數(shù)據(jù)立方的維護(hù)
7．1 HDFS的維護(hù)
7．1．1 HDFS的dfsadmin命令
7．1．2 HDFS的balancer工具
7．2 SHELL的使用
7．2．1數(shù)據(jù)立方SHELL說明
7．2．2數(shù)據(jù)定義與數(shù)據(jù)操作的shell
7．2．3數(shù)據(jù)查詢的shell
7．3 數(shù)據(jù)立方的常見問題及其解決方法
7．3．1 啟動(dòng)時(shí)的常見問題
7．4 Sqoop的常見問題及其解決方法
7．4．1 Mysql的用戶問題
7．4．2 Mysql的權(quán)限問題
7．4．3 Mysql的path問題
7．4．4 Mysql的path問題
7．5 數(shù)據(jù)立方管理系統(tǒng)
第8章 數(shù)據(jù)立方的可靠性
8．1 Hadoop的可靠性
8．1．1 HDFS中NameNode單點(diǎn)問題
8．1．2 HDFS數(shù)據(jù)塊副本機(jī)制
8．1．3 HDFS心跳機(jī)制
8．1．4 HDFS負(fù)載均衡
8．1．5 MapReduce容錯(cuò)
8．2 Hadoop的SecondaryNameNode機(jī)制
8．2．1磁盤鏡像與日志文件
8．2．2 SecondaryNameNode更新鏡像的流程
8．3 Avatar機(jī)制
8．3．1 系統(tǒng)架構(gòu)
8．3．2 Avatar元數(shù)據(jù)同步機(jī)制
8．3．3 故障切換過程
8．3．4 Avatar運(yùn)行流程
8．3．5 Avatar故障切換流程
8．4 Avatar實(shí)戰(zhàn)
8．4．1 實(shí)驗(yàn)環(huán)境
8．4．2 編譯Avatar
8．4．3 Avatar安裝和配置
8．5 數(shù)據(jù)立方可靠性
8．5．1 數(shù)據(jù)立方的可靠性
8．5．2 數(shù)據(jù)立方的工作流程
8．5．3 數(shù)據(jù)立方的可靠性
第9章 數(shù)據(jù)統(tǒng)計(jì)分析實(shí)例--供電信息采集系統(tǒng)
9．1 客戶需求分析
9．1．1 測(cè)試過程及數(shù)據(jù)量描述
9．1．2 測(cè)試過程分解及效率統(tǒng)計(jì)
9．2 數(shù)據(jù)表設(shè)計(jì)
9．3 查詢語(yǔ)句設(shè)計(jì)與結(jié)果展現(xiàn)
9．4 查詢優(yōu)化
9．4．1 存儲(chǔ)方面的優(yōu)化
9．4．2 內(nèi)存方面的優(yōu)化
9．5 性能測(cè)試結(jié)果
9．5．1 數(shù)據(jù)下載解壓及標(biāo)記
9．5．2 數(shù)據(jù)解析入庫(kù)
9．5．3 數(shù)據(jù)計(jì)算流程
9．5．4 數(shù)據(jù)導(dǎo)入ORACLE數(shù)據(jù)庫(kù)
9．5．5 查詢總時(shí)長(zhǎng)統(tǒng)計(jì)
第10章 在線數(shù)據(jù)檢索實(shí)例--移動(dòng)信令分析云平臺(tái)
10．1 需求分析
10．2 數(shù)據(jù)表設(shè)計(jì)
10．2．1 CDR數(shù)據(jù)文件的檢測(cè)與索引創(chuàng)建任務(wù)調(diào)度
10．2．2 從HDFS讀取數(shù)據(jù)并創(chuàng)建索引
10．2．3 查詢CDR信息
10．3 查詢語(yǔ)句設(shè)計(jì)與結(jié)果展現(xiàn)
10．3．1 CDR文件檢測(cè)和索引創(chuàng)建任務(wù)調(diào)度程序
10．3．2 讀取CDR數(shù)據(jù)和索引創(chuàng)建處理
10．3．3 CDR查詢
10．4 查詢優(yōu)化
10．5 性能測(cè)試結(jié)果
第11章 實(shí)時(shí)數(shù)據(jù)處理實(shí)例-地震數(shù)據(jù)
11．1 需求分析
11．2 數(shù)據(jù)表分析
11．3 查詢語(yǔ)句設(shè)計(jì)與結(jié)果展現(xiàn)
11．4 查詢優(yōu)化
11．4．1 存儲(chǔ)方面的優(yōu)化
11．4．2 計(jì)算方面的優(yōu)化
11．5 性能測(cè)試結(jié)果
11．5．1 單機(jī)模擬集群測(cè)試
11．5．2 字段測(cè)試
11．5．3 排序測(cè)試
11．5．4 隨機(jī)讀取測(cè)試