大數據 數據管理與數據工程

第一部分大數據管理理論框架與生態(tài)系統 第1章大數據概述 1.1大數據時代 1.2什么是大數據 1.2.1大數據定義 1.2.2大數據特征 1.2.3大數據結構類型 1.2.4數據、信息、知識與智能的關系 1.3大數據發(fā)展史 1.3.1數據管理發(fā)展歷程 1.3.2大數據的演變及回顧 1.4大數據的度量和價值 1.4.1大數據的度量 1.4.2大數據的價值 1.5大數據生態(tài)系統 1.5.1大數據生態(tài)系統全貌 1.5.2大數據生態(tài)系統框架 1.6大數據應用研究方向 1.6.1大數據管理與技術 1.6.2大數據科學與工程 1.7大數據的挑戰(zhàn) 1.7.1大數據管理方面帶來的挑戰(zhàn) 1.7.2大數據技術方面帶來的挑戰(zhàn) 1.7.3大數據工程方面帶來的挑戰(zhàn) 第2章大數據戰(zhàn)略與商業(yè)模式變革 2.1大數據戰(zhàn)略 2.1.1國外大數據戰(zhàn)略視角 2.1.2國內大數據戰(zhàn)略視角 2.2大數據商業(yè)模式和商業(yè)機會 2.2.1基于大數據的商業(yè)模式創(chuàng)新 2.2.2大數據對企業(yè)管理決策的影響 2.2.3基于大數據驅動的商業(yè)機會 2.3大數據市場的行業(yè)應用需求 2.3.1移動互聯網和社交網絡 2.3.2政府公共管理 2.3.3教育科研行業(yè) 2.3.4金融行業(yè) 2.3.5醫(yī)療健康業(yè) 2.3.6中國制造2025 2.3.7智能交通領域 第3章大數據平臺的架構體系 3.1大數據基礎設施 3.1.1虛擬化 3.1.2云計算 3.1.3數據中心 3.2數據采集 3.2.1系統日志采集方法 3.2.2網絡數據采集方法： 對非結構化數據的采集 3.2.3其他數據采集方法 3.3數據存儲 3.3.1結構化數據存儲 3.3.2非結構化數據存儲 3.4數據處理 3.4.1離線批處理 3.4.2實時交互計算 3.4.3流計算 3.5數據交互展示 3.5.1數據可視化基礎 3.5.2數據可視化模式 3.5.3數據可視化工具 3.6大數據應用 3.7運營管理 3.8安全管理 第4章大數據的數據整合、交換與交易 4.1大數據平臺整合 4.1.1HDFS分布式文件系統 4.1.2MapReduce分布式計算框架 4.1.3HBase分布式數據庫 4.1.4交互式數據查詢分析 4.1.5數據收集、轉換工具 4.1.6其他大數據平臺 4.2大數據與存儲架構的整合 4.2.1傳統存儲架構 4.2.2集群存儲的發(fā)展 4.2.3基于HDFS的集群存儲 4.2.4固態(tài)硬盤對內存計算的支持 4.3大數據與網絡架構的發(fā)展 4.4大數據與虛擬化技術的整合 4.5Hadoop環(huán)境下的數據整合 4.5.1Hadoop計算環(huán)境下的數據整合問題 4.5.2數據庫整合工具Sqoop 4.5.3Hadoop平臺內部數據整合工具HCatalog 4.6大數據數據交換 4.6.1數據集成技術 4.6.2數據交換體系應用框架 4.6.3數據交換關鍵技術 4.7大數據交易 4.7.1大數據交易產業(yè)鏈 4.7.2大數據交易業(yè)務模式分析 4.7.3大數據交易發(fā)展趨勢 第5章大數據管理和治理 5.1建立數據驅動的管理體系和架構 5.1.1建立數據管理組織和團隊 5.1.2建立數據管理規(guī)章和制度 5.2大數據治理體系 5.2.1數據標準管理 5.2.2數據質量管理 5.2.3元數據管理 5.2.4主數據管理 5.2.5數據資產的全生命周期管理 5.3大數據技術管理體系 5.3.1數據類型和結構 5.3.2數據存儲管理 5.3.3數據倉庫和商業(yè)智能 5.3.4數據計算和處理 5.3.5數據展示與交互 5.4大數據事務管理 5.4.1事務的基本屬性 5.4.2大數據事務管理機制 5.5大數據流程管理 5.6大數據易用性管理 5.7數據的安全管理 第6章大數據創(chuàng)新方法論 6.1大數據的爆發(fā) 6.2大數據創(chuàng)新理論 6.2.1大數據的宏觀性和微觀性 6.2.2大數據的生產要素性 6.2.3大數據的基因特性 6.2.4大數據的催化劑特性 6.2.5大數據的活性和流動性 6.2.6大數據的黑洞效應和核聚變效應 6.3大數據創(chuàng)新方法論 6.4信息演變趨勢 6.5大數據創(chuàng)新實踐閉環(huán) 6.6中國創(chuàng)新創(chuàng)業(yè)大數據版圖 6.6.1大數據時代的數據管理 6.6.2大眾創(chuàng)業(yè)萬眾創(chuàng)新的浪潮 6.6.3中國創(chuàng)新創(chuàng)業(yè)大數據版圖的推出 6.6.4雙創(chuàng)版圖中的大數據管理挑戰(zhàn) 6.6.5雙創(chuàng)版圖中大數據技術的集中運用 6.6.6雙創(chuàng)大數據版圖的意義 第二部分數據科學和數據工程 第7章數據科學理論與工具 7.1數據科學理論基礎 7.1.1數據科學概念 7.1.2數據科學預測預警分析 7.1.3商業(yè)智能與數據科學 7.2數據科學研究的重要角色 7.2.1數據科學家 7.2.2數據科學與工程相關角色 7.3大數據生命周期管理方法論 7.3.1數據分析模型概述 7.3.2數據分析模型流程框架 7.3.3數據分析模型創(chuàng)新案例 7.3.4數據分析工具 7.4數據倉庫理論 7.4.1數據倉庫的主要特征 7.4.2數據倉庫建模 7.4.3數據倉庫設計 7.4.4數據倉庫建設方法論 7.4.5數據倉庫相關技術 7.4.6DW、OLAP與DM的關系 7.5數據挖掘高級理論 7.5.1聚類分析 7.5.2關聯分析 7.5.3回歸和分類分析 7.5.4時序模型 7.5.5結構優(yōu)化 7.5.6深度機器學習 7.6大數據語義分析知識發(fā)現 7.6.1大數據知識發(fā)現過程 7.6.2大數據知識發(fā)現技術框架 7.6.3大數據知識發(fā)現專家系統 7.6.4企業(yè)大數據知識管理框架 7.7大數據分析處理平臺 7.7.1結構化大數據處理架構 7.7.2非結構化大數據處理架構 7.7.3主流大數據分析平臺 第8章醫(yī)療健康大數據解決方案 8.1醫(yī)療信息化 8.1.1美國醫(yī)療信息化發(fā)展情況 8.1.2我國醫(yī)療信息化發(fā)展趨勢 8.1.3醫(yī)療健康大數據挑戰(zhàn)和機遇 8.2醫(yī)療健康大數據綜述 8.2.1醫(yī)療健康大數據類型 8.2.2臨床服務數據 8.2.3公共衛(wèi)生調查和監(jiān)測數據 8.2.4醫(yī)學研究性數據 8.2.5個人健康數據 8.3醫(yī)療健康大數據總體架構 8.3.1建設原則 8.3.2建設目標 8.3.3醫(yī)療健康大數據業(yè)務架構 8.3.4醫(yī)療健康大數據技術架構 8.3.5醫(yī)療健康大數據網絡架構 8.4醫(yī)療健康數據中心解決方案 8.4.1醫(yī)療數據中心架構設計方案 8.4.2集中存儲解決方案 8.4.3PACS數據存儲方案 8.4.4容災備份解決方案 8.5醫(yī)療健康大數據分析 8.5.1醫(yī)療實體對象建模分析 8.5.2醫(yī)療個人健康檔案建模分析 8.5.3相關數據特征對比分析 8.5.4臨床信息學大數據分析 8.5.5醫(yī)學文獻研究知識發(fā)現 8.6醫(yī)療健康大數據展望 第9章環(huán)保行業(yè)大數據解決方案 9.1環(huán)保物聯網 9.1.1物聯網概念 9.1.2物聯網基本架構 9.1.3環(huán)保物聯網數據 9.2環(huán)保電力脫硫 9.2.1火電脫硫的重要性 9.2.2火電脫硫系統工作原理 9.2.3火電脫硫相關數據 9.2.4脫硫性能優(yōu)化目標 9.3火電行業(yè)脫硫大數據分析 9.3.1主要理論和方法 9.3.2最優(yōu)化脫硫可調參數 9.3.3最小化脫硫系統成本 9.4空氣質量大數據分析評價體系 9.4.1基于熵權的模糊綜合評價方法的原理 9.4.2綜合評價指標選擇與數據來源 9.4.3環(huán)境質量綜合評價結果及分析 第10章移動社交大數據解決方案 10.1移動社交網絡發(fā)展情況 10.1.1移動社交網絡發(fā)展現狀 10.1.2移動社交網絡發(fā)展方向 10.2社交網絡基礎理論和商業(yè)模式 10.2.1社交網絡相關理論 10.2.2社交化商業(yè)模式 10.3移動社交網絡數據處理架構 10.3.1移動社交網絡服務架構模型 10.3.2Facebook應用案例 10.4移動社交網絡大數據分析 10.4.1社交網絡平臺行為影響分析模型 10.4.2社交網絡單平臺內影響力分析 10.4.3社交網絡多平臺影響力分析 第11章金融大數據解決方案 11.1金融信息化 11.1.1全球金融信息化發(fā)展歷程 11.1.2我國金融信息化發(fā)展趨勢 11.2金融大數據綜述 11.2.1金融大數據的特征 11.2.2金融大數據的機遇和挑戰(zhàn) 11.3金融大數據平臺總體架構 11.3.1建設原則和目標 11.3.2金融大數據業(yè)務架構 11.3.3金融大數據技術架構 11.3.4金融大數據網絡架構 11.4金融大數據分析 11.4.1銀行風險管理狀況分析 11.4.2金融大數據風險管理云平臺 11.4.3大數據征信 11.4.4大數據反欺詐 11.4.5大數據精準營銷 11.5金融大數據帶來的產業(yè)變革 第12章中國制造大數據解決方案 12.1全球工業(yè)信息化發(fā)展歷程和現狀 12.1.1美國工業(yè)信息化發(fā)展歷程和現狀 12.1.2日本工業(yè)信息化發(fā)展歷程和現狀 12.1.3德國工業(yè)信息化發(fā)展歷程和現狀 12.1.4我國工業(yè)信息化發(fā)展歷程和現狀 12.1.5我國《中國制造2025》的發(fā)展戰(zhàn)略 12.2工業(yè)信息化技術集成和協同發(fā)展方向 12.2.1集成和協同的空間跨度 12.2.2集成和協同的時間跨度 12.2.3集成和協同的重點和對象 12.2.4主要的集成和協同技術 12.3中國制造信息化應用系統 12.3.1工業(yè)設計自動化系統 12.3.2制造控制自動化系統 12.3.3制造執(zhí)行系統 12.3.4柔性制造系統 12.3.5工業(yè)互聯網與CPS系統 12.3.6ERP信息系統 12.4工業(yè)大數據架構體系 12.4.1互聯網催生工業(yè)大數據 12.4.2工業(yè)大數據內涵特征 12.4.3工業(yè)大數據業(yè)務架構 12.4.4工業(yè)大數據技術架構 12.4.5工業(yè)大數據安全架構 12.5智能化協同制造體系架構 12.5.1智能化協同制造發(fā)展需求 12.5.2智能化協同制造總體架構 12.5.3智能化協同制造設計思想 12.5.4智能化協同制造應用場景 12.6智能化協同制造服務生命周期過程 12.6.1制造資源服務集成與發(fā)現 12.6.2制造服務資源訪問策略 12.6.3制造服務資源的優(yōu)化與智能調度 12.6.4智能化協同制造研究與自學習機制 12.7工業(yè)大數據展望 第13章大數據工程保障體系建設 13.1法律體系建設 13.2標準體系建設 13.3建立標準化大數據治理體系 13.4加強大數據行業(yè)應用研究 13.5加強元數據的研究和應用 13.6加強大數據核心技術研究 13.7促進大數據交易市場的規(guī)范化發(fā)展 13.8推動大數據標準化進程 參考文獻