Oracle大數(shù)據(jù)解決方案

第Ⅰ部分 引  言 第1章 大數(shù)據(jù)簡介       3 1.1 大數(shù)據(jù)      3 1.2 谷歌的MapReduce算法和Apache Hadoop          4 1.3 Oracle的大數(shù)據(jù)平臺      5 1.4 總結         8 第2章 大數(shù)據(jù)的價值   9 2.1 我是大數(shù)據(jù)嗎？還是大數(shù)據(jù)是我？      10 2.2 大數(shù)據(jù)，小數(shù)據(jù)——仍然是數(shù)據(jù) 12 2.2.1 什么已經發(fā)生了？       12 2.2.2 現(xiàn)在發(fā)生了什么？       13 2.3 請看看現(xiàn)實！ 14 2.4 你想把它做成什么？      16 2.5 大數(shù)據(jù)，大數(shù)字，大企業(yè)？ 17 2.5.1 Twitter   18 2.5.2 Facebook         19 2.5.3 內部源  19 2.5.4 ICR：連接      20 2.5.5 ICR：變更      20 2.6 需要：大數(shù)據(jù)的價值      22 2.6.1 大數(shù)據(jù)案例1：醫(yī)療行業(yè)的臨床試驗研究        23 2.6.2 大數(shù)據(jù)案例2：在汽車行業(yè)的汽車設計中改進駕駛員安全   23 2.7 總結 24 第 II 部分 大數(shù)據(jù)平臺 第3章 Apache Hadoop平臺         27 3.1 軟件與硬件      28 3.2 Hadoop的軟件平臺 28 3.2.1 Hadoop的發(fā)布與版本  29 3.2.2 Hadoop Distributed File System(HDFS)  29 3.2.3 調度、計算和處理       31 3.3 操作系統(tǒng)的選擇      33 3.4 Hadoop硬件平臺     34 3.4.1 CPU和內存    34 3.4.2 網(wǎng)絡       34 3.4.3 磁盤       35 3.5 整合在一起      35 第4章 選擇Appliance的理由      37 4.1 Oracle創(chuàng)建大數(shù)據(jù)機的理由   38 4.2 Appliance的概念      39 4.3 Oracle Big Data Appliance的發(fā)展目標    39 4.4 Appliance優(yōu)化  39 4.5 Oracle Big Data Appliance第2版軟件    40 4.6 Oracle大數(shù)據(jù)機X3-2硬件       42 4.7 Oracle獲取Hadoop知識的地方     44 4.8 配置Hadoop集群   45 4.8.1 選擇核心集群組件       45 4.8.2 組裝集群       47 4.9 自己組建的集群      48 4.10 集群總成本   49 4.11 時間價值        52 4.12 如何打造更大的集群   53 4.13 Oracle大數(shù)據(jù)機可否支持其他軟件     53 4.14 一體機的缺陷        54 第5章 BDA配置、部署架構和監(jiān)控   55 5.1 介紹 56 5.1.1 大數(shù)據(jù)機X3-2滿配機架(18個節(jié)點)  57 5.1.2 大數(shù)據(jù)機X3-2入門機架(6個節(jié)點)    60 5.1.3 大數(shù)據(jù)機X3-2擴展機架(6個節(jié)點)    63 5.1.4 BDA的硬件修改   63 5.1.5 大數(shù)據(jù)機X3-2的軟件支持 63 5.2 BDA安裝和配置過程       64 5.3 關鍵和非關鍵節(jié)點 65 5.4 NameNode故障自動切換        66 5.5 BDA磁盤存儲布局  67 5.6 為Hadoop集群增加存儲        69 5.7 僅有Hadoop配置和Hadoop+NoSQL數(shù)據(jù)庫         70 5.7.1 僅有Hadoop的一體機         70 5.7.2 Hadoop和NoSQL數(shù)據(jù)庫      71 5.8 內存選項 72 5.9 部署架構 72 5.9.1 云中的多租戶和Hadoop     72 5.9.2 可擴展性       74 5.9.3 BDA多機架的注意事項        74 5.10 在BDA上安裝其他軟件       75 5.11 數(shù)據(jù)中心的BDA   75 5.11.1 管理網(wǎng)絡    75 5.11.2 客戶端訪問網(wǎng)絡         76 5.11.3 Infiniband私有網(wǎng)絡     76 5.11.4 網(wǎng)絡需求    76 5.11.5 連接到數(shù)據(jù)中心的局域網(wǎng)         78 5.11.6 連接架構的例子         78 5.12 Oracle大數(shù)據(jù)機的使用限制 78 5.13 BDA的管理和監(jiān)控         79 5.13.1 企業(yè)管理器         80 5.13.2 Cloudera管理器  82 5.13.3 Hadoop的監(jiān)控工具：Web圖形用戶界面        83 5.13.4 Oracle ILOM 84 5.13.5 Hue       86 5.13.6 DCLI工具     86 第6章 為大數(shù)據(jù)集成數(shù)據(jù)倉庫和分析基礎架構       87 6.1 數(shù)據(jù)倉庫作為存儲歷史記錄的數(shù)據(jù)庫         88 6.1.1 Oracle數(shù)據(jù)庫作為數(shù)據(jù)倉庫         88 6.1.2 為什么要把數(shù)據(jù)倉庫和Hadoop部署在一起    89 6.2 完成路徑：業(yè)務分析師工具 90 6.3 擴建基礎設施 91 第7章  BDA連接器     93 7.1 Oracle Big Data Connectors       94 7.2 Oracle Loader for Hadoop 95 7.2.1 在線模式       96 7.2.2 Oracle OCI Direct Path Output       97 7.2.3 JDBC Output   97 7.2.4 離線模式       98 7.2.5 Oracle Data Pump Output      98 7.2.6 帶分隔符的文本輸出  99 7.3 安裝Oracle Loader for Hadoop        99 7.4 調用Oracle Loader for Hadoop        100 7.5 輸入格式 100 7.5.1 DelimitedTextInputFormat    101 7.5.2 RegexInputFormat 102 7.5.3 AvroInputFormat    102 7.5.4 HiveToAvroInputFormat         102 7.5.5 KVAvroInputFormat        102 7.5.6 自定義輸入格式  103 7.6 Oracle Loader for Hadoop配置文件         103 7.6.1 Loader Maps  105 7.6.2 額外的優(yōu)化  106 7.6.3 利用Infiniband      107 7.6.4 對比Apache Sqoop       107 7.7 Oracle SQL Connector for HDFS          108 7.8 安裝Oracle SQL Connector for HDFS       110 7.9 Hive安裝  112 7.10 使用Oracle SQL Connector for HDFS創(chuàng)建外部表         113 7.10.1 ExternalTable配置工具       113 7.10.2 數(shù)據(jù)源類型         113 7.10.3 配置工具語法    114 7.10.4 必需的屬性        114 7.10.5 可選屬性    115 7.10.6 針對帶分隔符的ExternalTable工具         115 7.10.7 在使用--noexecute選項的情況下測試DDL     117 7.10.8 在位置文件里增加一個新的HDFS文件  118 7.10.9 外部表的手動配置    118 7.11 Hive源     119 7.12 Oracle Data Pump源       121 7.13 配置文件        122 7.14 使用Oracle SQL Connector for HDFS查詢    124 7.15 Oracle R Connector for Hadoop       125 7.16 Oracle Data Integrator Application Adapter for Hadoop        125 第8章 Oracle NoSQL數(shù)據(jù)庫         129 8.1 NoSQL數(shù)據(jù)庫系統(tǒng)的定義        130 8.2 Oracle NoSQL數(shù)據(jù)庫        131 8.3 架構 133 8.3.1 客戶端驅動程序  134 8.3.2 鍵-值對 134 8.3.3 存儲節(jié)點       136 8.3.4 復制       136 8.3.5 智能拓撲       137 8.3.6 在線的靈活性       137 8.3.7 沒有單點故障       138 8.4 數(shù)據(jù)管理 138 8.4.1 API  138 8.4.2 CRUD操作     138 8.4.3 多種更新操作       139 8.4.4 查找操作       139 8.4.5 事務       139 8.4.6 可預測的性能       140 8.5 集成 141 8.6 安裝和管理      142 8.6.1 簡單安裝       142 8.6.2 管理       142 8.7 Oracle NoSQL數(shù)據(jù)庫的特性    142 8.8 有用的鏈接      143 第 III 部分 分析信息和制定決策 第9章 數(shù)據(jù)庫庫內分析：快速交付彰顯時間價值   147 9.1 介紹 148 9.1.1 Oracle數(shù)據(jù)庫內分析    149 9.1.2 為什么在數(shù)據(jù)庫內運行如此重要       151 9.2 Oracle數(shù)據(jù)挖掘和統(tǒng)計分析介紹   151 9.2.1 Oracle庫內高級分析    152 9.2.2 Oracle數(shù)據(jù)挖掘    153 9.2.3 R語言介紹    159 9.2.4 文本挖掘       165 9.3 庫內統(tǒng)計函數(shù) 168 9.4 空間分析 169 9.4.1 理解空間數(shù)據(jù)模型       170 9.4.2 查詢空間數(shù)據(jù)模型       170 9.4.3 使用空間分析       171 9.4.4 讓BI工具更聰明 171 9.5 基于圖形分析 172 9.5.1 圖形數(shù)據(jù)模型       172 9.5.2 查詢圖形數(shù)據(jù)       172 9.6 多維分析 174 9.7 庫內分析：綜合范例      176 9.7.1 在ETL過程中集成分析       176 9.7.2 提供指導瀏覽       176 9.7.3 提供混搭式分析  176 9.8 總結 177 第10章 使用R分析數(shù)據(jù)     179 10.1 Open Source R介紹         180 10.1.1 CRAN、Packages和Task View    180 10.1.2 GUI和IDE    182 10.2 傳統(tǒng)的R與數(shù)據(jù)庫交互對比Oracle R Enterprise        183 10.3 Oracle針對R的戰(zhàn)略     185 10.3.1 Oracle REnterprise       185 10.3.2 Oracle R Distribution    186 10.3.3 ROracle         186 10.3.4 Oracle R Connector for Hadoop   187 10.4 Oracle R Enterprise：下一級視圖 187 10.5 Oracle R Enterprise安裝和配置     188 10.6 使用Oracle R Enterprise        189 10.6.1 透明層         189 10.6.2 嵌入式R執(zhí)行    199 10.6.3 預測分析    213 10.7 Oracle R Connector for Hadoop       225 10.7.1 調用MapReduce Job  227 10.7.2 在非Hadoop集群下測試ORCH R腳本    227 10.7.3 用R與HDFS交互      228 10.7.4 HDFS Metadata Discovery   229 10.7.5 基于ORCH框架來使用Hadoop        231 10.7.6 在Hadoop上的預測分析  232 10.7.7 ORCHhive      233 10.7.8 Oracle R Connector for Hadoop與Oracle R Enterprise之間的交互 235 10.8 總結        236 第11章 Endeca信息發(fā)現(xiàn)    237 11.1 為什么Oracle選擇Endeca  237 11.2 Endeca信息發(fā)現(xiàn)平臺    239 11.2.1 主要功能域         239 11.2.2 主要特性    239 11.3 Endeca信息發(fā)現(xiàn)與商業(yè)智能         241 11.3.1 作用和功能不同         241 11.3.2 BI開發(fā)過程與信息發(fā)現(xiàn)方法對比     242 11.3.3 互補而非互斥    243 11.4 架構        244 11.4.1 Oracle Endeca服務器 244 11.4.2 Oracle Endeca工作室 246 11.4.3 Oracle Endeca集成套件      248 11.4.4 Exalytics上的Endeca  249 11.4.5 可伸縮性和負載均衡         250 11.5 統(tǒng)一多種內容集   253 11.5.1 Endeca不同之外          253 11.5.2 行業(yè)用例    253 11.6 Endeca實際操作    255 11.6.1 安裝與配置         255 11.6.2 開發(fā)Endeca應用       256 第12章 大數(shù)據(jù)治理     259 12.1 企業(yè)數(shù)據(jù)治理的要素   260 12.1.1 業(yè)務輸出    260 12.1.2 信息生命周期管理    260 12.1.3 合規(guī)性和風險管理    261 12.1.4 元數(shù)據(jù)管理         261 12.1.5 數(shù)據(jù)質量管理    261 12.1.6 主數(shù)據(jù)和引用數(shù)據(jù)管理    262 12.1.7 數(shù)據(jù)安全和隱私管理         262 12.1.8 業(yè)務流程調整    263 12.2 大數(shù)據(jù)怎樣影響企業(yè)數(shù)據(jù)治理   263 12.2.1 模型化的數(shù)據(jù)和原始數(shù)據(jù)         263 12.2.2 大數(shù)據(jù)的類型    265 12.2.3 在大數(shù)據(jù)上應用數(shù)據(jù)治理         267 12.2.4 利用大數(shù)據(jù)治理         269 12.3 特定行業(yè)的案例   272 12.3.1 公共事業(yè)    272 12.3.2 衛(wèi)生醫(yī)療    273 12.3.3 金融服務    274 12.3.4 零售行業(yè)    275 12.3.5 大眾消費品         276 12.3.6 通信行業(yè)    277 12.3.7 石油和天然氣    278 12.4 大數(shù)據(jù)如何對數(shù)據(jù)治理的角色產生影響   279 12.5 實施大數(shù)據(jù)治理的一種方法        280 第13章 大數(shù)據(jù)開發(fā)架構和路線圖     283 13.1 大數(shù)據(jù)功能架構   283 13.1.1 大數(shù)據(jù)的新特點         284 13.1.2 大數(shù)據(jù)概念功能架構         285 13.1.3 產品功能和工具         285 13.1.4 制定大數(shù)據(jù)架構決策         287 13.2 架構開發(fā)流程實現(xiàn)增值        288 13.2.1 Oracle信息架構框架概述  288 13.2.2 采用OADP的信息架構概述     291 13.2.3 大數(shù)據(jù)架構開發(fā)流程         293 13.3 對數(shù)據(jù)管理和BI過程的影響       298 13.3.1 傳統(tǒng)BI開發(fā)過程        298 13.3.2 大數(shù)據(jù)和分析開發(fā)過程    298 13.4 大數(shù)據(jù)治理   299 13.4.1 傳統(tǒng)數(shù)據(jù)治理的關注點    299 13.4.2 大數(shù)據(jù)治理新的關注點    299 13.5 開發(fā)技能和人才   300 13.5.1 數(shù)據(jù)科學家         300 13.5.2 大數(shù)據(jù)開發(fā)人員         301 13.5.3 大數(shù)據(jù)管理員    301 13.6 大數(shù)據(jù)最佳實踐   301 13.6.1 讓大數(shù)據(jù)活動結合特定業(yè)務目標    301 13.6.2 確保集中化IT戰(zhàn)略的標準和治理   301 13.6.3 使用卓越中心來最小化培訓和風險         301 13.6.4 大數(shù)據(jù)與結構化數(shù)據(jù)關聯(lián)         301 13.6.5 提供高性能和可伸縮的分析沙箱    302 13.6.6 重塑IT運營模式        302