大數(shù)據(jù)技術(shù)及行業(yè)應(yīng)用

第1章 大數(shù)據(jù)相關(guān)概念
1．1 什么是大數(shù)據(jù)?
1．2 大數(shù)據(jù)有多大?
1．3 大數(shù)據(jù)是一種思維方式
1．4 大數(shù)據(jù)思維的應(yīng)用案例
1．5 大數(shù)據(jù)是如何產(chǎn)生的?
1．6 美國和中國的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)系統(tǒng)
1．7 如何學(xué)習(xí)大數(shù)據(jù)技術(shù)
本章小結(jié)
參考文獻(xiàn)
第2章 搭建私有大數(shù)據(jù)處理平臺
2．1 FreeBSD操作系統(tǒng)安裝
2．2 基礎(chǔ)軟件安裝
2．2．1 安裝Java運(yùn)行環(huán)境
2．2．2 安裝bash
2．3 Hadoop安裝配置
2．3．1 系統(tǒng)規(guī)劃
2．3．2 配置conf／masters、con．f／slaves文件
2．3．3 Hadoop安裝
2．4 Hadoop開發(fā)環(huán)境配置
2．4．1 編譯Hadoop-eclipse-plugin-1．1．2．jar插件
2．4．2 eclipse配置
2．4．3 測試
2．5 Hadoop升級
2．6 Zookeeper安裝
2．6．1 在FreeBSD上安裝Zookeeper
2．6．2 啟動(dòng)并測試Zookeeper
2．7 HBase安裝配置
2．8 FreeBSD上網(wǎng)配置
2．8．1 VPN上網(wǎng)配置
2．8．2 網(wǎng)頁認(rèn)證上網(wǎng)配置
2．9 配置殺毒軟件
本章小結(jié)
第3章 大數(shù)據(jù)平臺虛擬化解決方案
3．1 Ubuntu上安裝Docker
3．1．1 Docker簡介
3．1．2 Docker安裝
3．1．3 Docker鏡像相關(guān)命令
3．1．4 Docker容器相關(guān)命令
3．1．5 Dockerfile創(chuàng)建鏡像
3．1．6 Docker實(shí)現(xiàn)Spark集群
3．1．7 Docker集中化Web界面管理平臺shipyard
3．1．8 DockerUI
3．2 OpenStack搭建
3．2．1 下載工具和鏡像
3．2．2 配置網(wǎng)橋
3．2．3 安裝fuel
3．2．4 安裝OpenStack平臺
3．2．5 使用OpenStack平臺
本章小結(jié)
參考文獻(xiàn)
第4章 大數(shù)據(jù)平臺解決方案
4．1 大數(shù)據(jù)平臺比較
4．2 CDH大數(shù)據(jù)平臺搭建
4．2．1 Cloudera Manager安裝
4．2．2 添加服務(wù)
4．3 HDP大數(shù)據(jù)平臺搭建
4．3．1 部署Ambari
4．3．2 用Amban_web部署HDP平臺
本章小結(jié)
第5章 Spark在大數(shù)據(jù)處理中的應(yīng)用
5．1 Spark集群搭建
5．1．1 Scala在Ubuntu下的安裝和配置
5．1．2 Spark集群搭建
5．1．3 Spark集群啟動(dòng)測試
5．2 Spark-shell統(tǒng)計(jì)社交網(wǎng)絡(luò)中節(jié)點(diǎn)的度
5．2．1 啟動(dòng)HDFS和Spark
5．2．2 運(yùn)行Spark-shell
5．2．3 統(tǒng)計(jì)社交網(wǎng)絡(luò)中節(jié)點(diǎn)的度
5．3 Spark GraphX
5．3．1 屬性圖
5．3．2 圖操作
5．3．3 構(gòu)建圖
5．3．4 圖計(jì)算相關(guān)算法
5．3．5 GraphX圖計(jì)算實(shí)例
本章小結(jié)
參考文獻(xiàn)
第6章 大數(shù)據(jù)技術(shù)在環(huán)境科學(xué)中的應(yīng)用
6．1 大氣環(huán)境科學(xué)的數(shù)值模式的介紹
6．1．1 氣象模式
6．1．2 區(qū)域空氣質(zhì)量模式
6．2 高分辨率實(shí)時(shí)觀測的大數(shù)據(jù)
本章小結(jié)
參考文獻(xiàn)
第7章 大數(shù)據(jù)在DrugBank藥物數(shù)據(jù)庫聚類方面的應(yīng)用
7．1 簡介
7．2 開發(fā)環(huán)境及編程語言
7．3 算法設(shè)計(jì)
7．3．1 算法設(shè)計(jì)流程
7．3．2 相似度的計(jì)算
7．4 算法實(shí)現(xiàn)
7．4．1 文件的解析
7．4．2 對靶標(biāo)、作用酶的分析
7．4．3 對分子中原子百分比的處理過程
7．4．4 結(jié)果的整合
7．4．5 最終結(jié)果展示
本章小結(jié)
參考文獻(xiàn)
第8章 大數(shù)據(jù)在電子商務(wù)數(shù)據(jù)分析中的應(yīng)用
8．1 研究現(xiàn)狀
8．2 相關(guān)技術(shù)及概念
8．2．1 網(wǎng)絡(luò)爬蟲
8．2．2 HtmlUnit工具包
8．2．3 Mahout
8．2．4 樸素貝葉斯算法
8．2．5 文檔向量
8．2．6 TF-IDF改進(jìn)加權(quán)
8．2．7 中文分詞
8．3 需求分析
8．3．1 系統(tǒng)功能
8．3．2 系統(tǒng)界面
8．4 概要設(shè)計(jì)
8．4．1 系統(tǒng)模塊設(shè)計(jì)
8．4．2 數(shù)據(jù)庫設(shè)計(jì)
8．5 詳細(xì)設(shè)計(jì)
8．5．1 用戶登錄模塊
8．5．2 爬蟲管理模塊
8．5．3 算法管理模塊
8．5．4 用戶管理模塊
8．6 系統(tǒng)測試
8．6．1 訓(xùn)練集準(zhǔn)備
8．6．2 新數(shù)據(jù)準(zhǔn)備
8．6．3 訓(xùn)練模型
8．6．4 數(shù)據(jù)分類
8．6．5 分類結(jié)果分析
本章小結(jié)
參考文獻(xiàn)
第9章 大數(shù)據(jù)技術(shù)在社交網(wǎng)絡(luò)研究中的應(yīng)用
9．1 社區(qū)發(fā)現(xiàn)研究簡介
9．2 社區(qū)發(fā)現(xiàn)相關(guān)研究工作
9．2．1 相關(guān)工作
9．2．2 研究動(dòng)機(jī)
9．3 模型與問題的形式化
9．3．1 社區(qū)森林模型
9．3．2 問題形式化
9．4 骨干度算法
9．4．1 骨干度算法框架
9．4．2 算法的時(shí)間復(fù)雜度
9．4．3 算法比較
9．5 實(shí)驗(yàn)分析
9．5．1 數(shù)據(jù)集
9．5．2 一個(gè)特定人際關(guān)系網(wǎng)絡(luò)的測試
9．5．3 Zachary的空手道俱樂部測試
9．5．4 美國大學(xué)橄欖球隊(duì)
9．5．5 安然電子郵件公司數(shù)據(jù)集
9．5．6 DBLP合作網(wǎng)絡(luò)
9．5．7 結(jié)論
本章小結(jié)
參考文獻(xiàn)
第10章 大數(shù)據(jù)技術(shù)在文本挖掘和情感分類中的應(yīng)用
10．1 研究綜述
lO．1．1 基于產(chǎn)品特征的觀點(diǎn)挖掘研究
10．1．2 產(chǎn)品評論結(jié)構(gòu)化信息抽取方法
10．1．3 評論信息分類相關(guān)研究方法
10．2 評論文本的結(jié)構(gòu)化信息抽取
10．2．1 產(chǎn)品特征抽取
10．2．2 基于關(guān)聯(lián)規(guī)則抽取評論的隱式特征
10．2．3 基于監(jiān)督學(xué)習(xí)抽取評論的隱式特征
10．3 情感分類研究綜述
10．3．1 基于詞典與語言規(guī)則進(jìn)行情感分類
10．3．2 觀點(diǎn)挖掘結(jié)果歸納
10．4 算法評估結(jié)果與分析
10．4．1 隱式特征抽取實(shí)驗(yàn)結(jié)果及分析
10．4．2 篇章 粒度情感分類實(shí)驗(yàn)結(jié)果及分析
10．4．3 語句粒度情感分類實(shí)驗(yàn)結(jié)果及分析
本章小結(jié)
參考文獻(xiàn)
第11章 大數(shù)據(jù)技術(shù)在電力系統(tǒng)中的應(yīng)用
11．1 一種云可視化機(jī)網(wǎng)協(xié)調(diào)控制響應(yīng)特性數(shù)據(jù)挖掘方法
11．1．1 技術(shù)領(lǐng)域
11．1．2 背景技術(shù)
11．1．3 方案內(nèi)容
11．2 基于電力數(shù)據(jù)分析的河北南網(wǎng)電力市場化風(fēng)險(xiǎn)對沖方法
11．2．1 電網(wǎng)對發(fā)電側(cè)市場化風(fēng)險(xiǎn)對沖分析
11．2．2 電網(wǎng)對用電側(cè)市場化風(fēng)險(xiǎn)對沖分析
11．2．3 基于方差偏離規(guī)律的統(tǒng)計(jì)套利對沖方法
本章小結(jié)
附錄 FreeBSD操作系統(tǒng)安裝