Oracle大數(shù)據(jù)解決方案

第Ⅰ部分 引  言 第1章 大數(shù)據(jù)簡(jiǎn)介       3 1.1 大數(shù)據(jù)      3 1.2 谷歌的MapReduce算法和Apache Hadoop          4 1.3 Oracle的大數(shù)據(jù)平臺(tái)      5 1.4 總結(jié)         8 第2章 大數(shù)據(jù)的價(jià)值   9 2.1 我是大數(shù)據(jù)嗎？還是大數(shù)據(jù)是我？      10 2.2 大數(shù)據(jù)，小數(shù)據(jù)——仍然是數(shù)據(jù) 12 2.2.1 什么已經(jīng)發(fā)生了？       12 2.2.2 現(xiàn)在發(fā)生了什么？       13 2.3 請(qǐng)看看現(xiàn)實(shí)！ 14 2.4 你想把它做成什么？      16 2.5 大數(shù)據(jù)，大數(shù)字，大企業(yè)？ 17 2.5.1 Twitter   18 2.5.2 Facebook         19 2.5.3 內(nèi)部源  19 2.5.4 ICR：連接      20 2.5.5 ICR：變更      20 2.6 需要：大數(shù)據(jù)的價(jià)值      22 2.6.1 大數(shù)據(jù)案例1：醫(yī)療行業(yè)的臨床試驗(yàn)研究        23 2.6.2 大數(shù)據(jù)案例2：在汽車(chē)行業(yè)的汽車(chē)設(shè)計(jì)中改進(jìn)駕駛員安全   23 2.7 總結(jié) 24 第 II 部分 大數(shù)據(jù)平臺(tái) 第3章 Apache Hadoop平臺(tái)         27 3.1 軟件與硬件      28 3.2 Hadoop的軟件平臺(tái) 28 3.2.1 Hadoop的發(fā)布與版本  29 3.2.2 Hadoop Distributed File System(HDFS)  29 3.2.3 調(diào)度、計(jì)算和處理       31 3.3 操作系統(tǒng)的選擇      33 3.4 Hadoop硬件平臺(tái)     34 3.4.1 CPU和內(nèi)存    34 3.4.2 網(wǎng)絡(luò)       34 3.4.3 磁盤(pán)       35 3.5 整合在一起      35 第4章 選擇Appliance的理由      37 4.1 Oracle創(chuàng)建大數(shù)據(jù)機(jī)的理由   38 4.2 Appliance的概念      39 4.3 Oracle Big Data Appliance的發(fā)展目標(biāo)    39 4.4 Appliance優(yōu)化  39 4.5 Oracle Big Data Appliance第2版軟件    40 4.6 Oracle大數(shù)據(jù)機(jī)X3-2硬件       42 4.7 Oracle獲取Hadoop知識(shí)的地方     44 4.8 配置Hadoop集群   45 4.8.1 選擇核心集群組件       45 4.8.2 組裝集群       47 4.9 自己組建的集群      48 4.10 集群總成本   49 4.11 時(shí)間價(jià)值        52 4.12 如何打造更大的集群   53 4.13 Oracle大數(shù)據(jù)機(jī)可否支持其他軟件     53 4.14 一體機(jī)的缺陷        54 第5章 BDA配置、部署架構(gòu)和監(jiān)控   55 5.1 介紹 56 5.1.1 大數(shù)據(jù)機(jī)X3-2滿配機(jī)架(18個(gè)節(jié)點(diǎn))  57 5.1.2 大數(shù)據(jù)機(jī)X3-2入門(mén)機(jī)架(6個(gè)節(jié)點(diǎn))    60 5.1.3 大數(shù)據(jù)機(jī)X3-2擴(kuò)展機(jī)架(6個(gè)節(jié)點(diǎn))    63 5.1.4 BDA的硬件修改   63 5.1.5 大數(shù)據(jù)機(jī)X3-2的軟件支持 63 5.2 BDA安裝和配置過(guò)程       64 5.3 關(guān)鍵和非關(guān)鍵節(jié)點(diǎn) 65 5.4 NameNode故障自動(dòng)切換        66 5.5 BDA磁盤(pán)存儲(chǔ)布局  67 5.6 為Hadoop集群增加存儲(chǔ)        69 5.7 僅有Hadoop配置和Hadoop+NoSQL數(shù)據(jù)庫(kù)         70 5.7.1 僅有Hadoop的一體機(jī)         70 5.7.2 Hadoop和NoSQL數(shù)據(jù)庫(kù)      71 5.8 內(nèi)存選項(xiàng) 72 5.9 部署架構(gòu) 72 5.9.1 云中的多租戶和Hadoop     72 5.9.2 可擴(kuò)展性       74 5.9.3 BDA多機(jī)架的注意事項(xiàng)        74 5.10 在BDA上安裝其他軟件       75 5.11 數(shù)據(jù)中心的BDA   75 5.11.1 管理網(wǎng)絡(luò)    75 5.11.2 客戶端訪問(wèn)網(wǎng)絡(luò)         76 5.11.3 Infiniband私有網(wǎng)絡(luò)     76 5.11.4 網(wǎng)絡(luò)需求    76 5.11.5 連接到數(shù)據(jù)中心的局域網(wǎng)         78 5.11.6 連接架構(gòu)的例子         78 5.12 Oracle大數(shù)據(jù)機(jī)的使用限制 78 5.13 BDA的管理和監(jiān)控         79 5.13.1 企業(yè)管理器         80 5.13.2 Cloudera管理器  82 5.13.3 Hadoop的監(jiān)控工具：Web圖形用戶界面        83 5.13.4 Oracle ILOM 84 5.13.5 Hue       86 5.13.6 DCLI工具     86 第6章 為大數(shù)據(jù)集成數(shù)據(jù)倉(cāng)庫(kù)和分析基礎(chǔ)架構(gòu)       87 6.1 數(shù)據(jù)倉(cāng)庫(kù)作為存儲(chǔ)歷史記錄的數(shù)據(jù)庫(kù)         88 6.1.1 Oracle數(shù)據(jù)庫(kù)作為數(shù)據(jù)倉(cāng)庫(kù)         88 6.1.2 為什么要把數(shù)據(jù)倉(cāng)庫(kù)和Hadoop部署在一起    89 6.2 完成路徑：業(yè)務(wù)分析師工具 90 6.3 擴(kuò)建基礎(chǔ)設(shè)施 91 第7章  BDA連接器     93 7.1 Oracle Big Data Connectors       94 7.2 Oracle Loader for Hadoop 95 7.2.1 在線模式       96 7.2.2 Oracle OCI Direct Path Output       97 7.2.3 JDBC Output   97 7.2.4 離線模式       98 7.2.5 Oracle Data Pump Output      98 7.2.6 帶分隔符的文本輸出  99 7.3 安裝Oracle Loader for Hadoop        99 7.4 調(diào)用Oracle Loader for Hadoop        100 7.5 輸入格式 100 7.5.1 DelimitedTextInputFormat    101 7.5.2 RegexInputFormat 102 7.5.3 AvroInputFormat    102 7.5.4 HiveToAvroInputFormat         102 7.5.5 KVAvroInputFormat        102 7.5.6 自定義輸入格式  103 7.6 Oracle Loader for Hadoop配置文件         103 7.6.1 Loader Maps  105 7.6.2 額外的優(yōu)化  106 7.6.3 利用Infiniband      107 7.6.4 對(duì)比Apache Sqoop       107 7.7 Oracle SQL Connector for HDFS          108 7.8 安裝Oracle SQL Connector for HDFS       110 7.9 Hive安裝  112 7.10 使用Oracle SQL Connector for HDFS創(chuàng)建外部表         113 7.10.1 ExternalTable配置工具       113 7.10.2 數(shù)據(jù)源類(lèi)型         113 7.10.3 配置工具語(yǔ)法    114 7.10.4 必需的屬性        114 7.10.5 可選屬性    115 7.10.6 針對(duì)帶分隔符的ExternalTable工具         115 7.10.7 在使用--noexecute選項(xiàng)的情況下測(cè)試DDL     117 7.10.8 在位置文件里增加一個(gè)新的HDFS文件  118 7.10.9 外部表的手動(dòng)配置    118 7.11 Hive源     119 7.12 Oracle Data Pump源       121 7.13 配置文件        122 7.14 使用Oracle SQL Connector for HDFS查詢    124 7.15 Oracle R Connector for Hadoop       125 7.16 Oracle Data Integrator Application Adapter for Hadoop        125 第8章 Oracle NoSQL數(shù)據(jù)庫(kù)         129 8.1 NoSQL數(shù)據(jù)庫(kù)系統(tǒng)的定義        130 8.2 Oracle NoSQL數(shù)據(jù)庫(kù)        131 8.3 架構(gòu) 133 8.3.1 客戶端驅(qū)動(dòng)程序  134 8.3.2 鍵-值對(duì) 134 8.3.3 存儲(chǔ)節(jié)點(diǎn)       136 8.3.4 復(fù)制       136 8.3.5 智能拓?fù)?nbsp;      137 8.3.6 在線的靈活性       137 8.3.7 沒(méi)有單點(diǎn)故障       138 8.4 數(shù)據(jù)管理 138 8.4.1 API  138 8.4.2 CRUD操作     138 8.4.3 多種更新操作       139 8.4.4 查找操作       139 8.4.5 事務(wù)       139 8.4.6 可預(yù)測(cè)的性能       140 8.5 集成 141 8.6 安裝和管理      142 8.6.1 簡(jiǎn)單安裝       142 8.6.2 管理       142 8.7 Oracle NoSQL數(shù)據(jù)庫(kù)的特性    142 8.8 有用的鏈接      143 第 III 部分 分析信息和制定決策 第9章 數(shù)據(jù)庫(kù)庫(kù)內(nèi)分析：快速交付彰顯時(shí)間價(jià)值   147 9.1 介紹 148 9.1.1 Oracle數(shù)據(jù)庫(kù)內(nèi)分析    149 9.1.2 為什么在數(shù)據(jù)庫(kù)內(nèi)運(yùn)行如此重要       151 9.2 Oracle數(shù)據(jù)挖掘和統(tǒng)計(jì)分析介紹   151 9.2.1 Oracle庫(kù)內(nèi)高級(jí)分析    152 9.2.2 Oracle數(shù)據(jù)挖掘    153 9.2.3 R語(yǔ)言介紹    159 9.2.4 文本挖掘       165 9.3 庫(kù)內(nèi)統(tǒng)計(jì)函數(shù) 168 9.4 空間分析 169 9.4.1 理解空間數(shù)據(jù)模型       170 9.4.2 查詢空間數(shù)據(jù)模型       170 9.4.3 使用空間分析       171 9.4.4 讓BI工具更聰明 171 9.5 基于圖形分析 172 9.5.1 圖形數(shù)據(jù)模型       172 9.5.2 查詢圖形數(shù)據(jù)       172 9.6 多維分析 174 9.7 庫(kù)內(nèi)分析：綜合范例      176 9.7.1 在ETL過(guò)程中集成分析       176 9.7.2 提供指導(dǎo)瀏覽       176 9.7.3 提供混搭式分析  176 9.8 總結(jié) 177 第10章 使用R分析數(shù)據(jù)     179 10.1 Open Source R介紹         180 10.1.1 CRAN、Packages和Task View    180 10.1.2 GUI和IDE    182 10.2 傳統(tǒng)的R與數(shù)據(jù)庫(kù)交互對(duì)比Oracle R Enterprise        183 10.3 Oracle針對(duì)R的戰(zhàn)略     185 10.3.1 Oracle REnterprise       185 10.3.2 Oracle R Distribution    186 10.3.3 ROracle         186 10.3.4 Oracle R Connector for Hadoop   187 10.4 Oracle R Enterprise：下一級(jí)視圖 187 10.5 Oracle R Enterprise安裝和配置     188 10.6 使用Oracle R Enterprise        189 10.6.1 透明層         189 10.6.2 嵌入式R執(zhí)行    199 10.6.3 預(yù)測(cè)分析    213 10.7 Oracle R Connector for Hadoop       225 10.7.1 調(diào)用MapReduce Job  227 10.7.2 在非Hadoop集群下測(cè)試ORCH R腳本    227 10.7.3 用R與HDFS交互      228 10.7.4 HDFS Metadata Discovery   229 10.7.5 基于ORCH框架來(lái)使用Hadoop        231 10.7.6 在Hadoop上的預(yù)測(cè)分析  232 10.7.7 ORCHhive      233 10.7.8 Oracle R Connector for Hadoop與Oracle R Enterprise之間的交互 235 10.8 總結(jié)        236 第11章 Endeca信息發(fā)現(xiàn)    237 11.1 為什么Oracle選擇Endeca  237 11.2 Endeca信息發(fā)現(xiàn)平臺(tái)    239 11.2.1 主要功能域         239 11.2.2 主要特性    239 11.3 Endeca信息發(fā)現(xiàn)與商業(yè)智能         241 11.3.1 作用和功能不同         241 11.3.2 BI開(kāi)發(fā)過(guò)程與信息發(fā)現(xiàn)方法對(duì)比     242 11.3.3 互補(bǔ)而非互斥    243 11.4 架構(gòu)        244 11.4.1 Oracle Endeca服務(wù)器 244 11.4.2 Oracle Endeca工作室 246 11.4.3 Oracle Endeca集成套件      248 11.4.4 Exalytics上的Endeca  249 11.4.5 可伸縮性和負(fù)載均衡         250 11.5 統(tǒng)一多種內(nèi)容集   253 11.5.1 Endeca不同之外          253 11.5.2 行業(yè)用例    253 11.6 Endeca實(shí)際操作    255 11.6.1 安裝與配置         255 11.6.2 開(kāi)發(fā)Endeca應(yīng)用       256 第12章 大數(shù)據(jù)治理     259 12.1 企業(yè)數(shù)據(jù)治理的要素   260 12.1.1 業(yè)務(wù)輸出    260 12.1.2 信息生命周期管理    260 12.1.3 合規(guī)性和風(fēng)險(xiǎn)管理    261 12.1.4 元數(shù)據(jù)管理         261 12.1.5 數(shù)據(jù)質(zhì)量管理    261 12.1.6 主數(shù)據(jù)和引用數(shù)據(jù)管理    262 12.1.7 數(shù)據(jù)安全和隱私管理         262 12.1.8 業(yè)務(wù)流程調(diào)整    263 12.2 大數(shù)據(jù)怎樣影響企業(yè)數(shù)據(jù)治理   263 12.2.1 模型化的數(shù)據(jù)和原始數(shù)據(jù)         263 12.2.2 大數(shù)據(jù)的類(lèi)型    265 12.2.3 在大數(shù)據(jù)上應(yīng)用數(shù)據(jù)治理         267 12.2.4 利用大數(shù)據(jù)治理         269 12.3 特定行業(yè)的案例   272 12.3.1 公共事業(yè)    272 12.3.2 衛(wèi)生醫(yī)療    273 12.3.3 金融服務(wù)    274 12.3.4 零售行業(yè)    275 12.3.5 大眾消費(fèi)品         276 12.3.6 通信行業(yè)    277 12.3.7 石油和天然氣    278 12.4 大數(shù)據(jù)如何對(duì)數(shù)據(jù)治理的角色產(chǎn)生影響   279 12.5 實(shí)施大數(shù)據(jù)治理的一種方法        280 第13章 大數(shù)據(jù)開(kāi)發(fā)架構(gòu)和路線圖     283 13.1 大數(shù)據(jù)功能架構(gòu)   283 13.1.1 大數(shù)據(jù)的新特點(diǎn)         284 13.1.2 大數(shù)據(jù)概念功能架構(gòu)         285 13.1.3 產(chǎn)品功能和工具         285 13.1.4 制定大數(shù)據(jù)架構(gòu)決策         287 13.2 架構(gòu)開(kāi)發(fā)流程實(shí)現(xiàn)增值        288 13.2.1 Oracle信息架構(gòu)框架概述  288 13.2.2 采用OADP的信息架構(gòu)概述     291 13.2.3 大數(shù)據(jù)架構(gòu)開(kāi)發(fā)流程         293 13.3 對(duì)數(shù)據(jù)管理和BI過(guò)程的影響       298 13.3.1 傳統(tǒng)BI開(kāi)發(fā)過(guò)程        298 13.3.2 大數(shù)據(jù)和分析開(kāi)發(fā)過(guò)程    298 13.4 大數(shù)據(jù)治理   299 13.4.1 傳統(tǒng)數(shù)據(jù)治理的關(guān)注點(diǎn)    299 13.4.2 大數(shù)據(jù)治理新的關(guān)注點(diǎn)    299 13.5 開(kāi)發(fā)技能和人才   300 13.5.1 數(shù)據(jù)科學(xué)家         300 13.5.2 大數(shù)據(jù)開(kāi)發(fā)人員         301 13.5.3 大數(shù)據(jù)管理員    301 13.6 大數(shù)據(jù)最佳實(shí)踐   301 13.6.1 讓大數(shù)據(jù)活動(dòng)結(jié)合特定業(yè)務(wù)目標(biāo)    301 13.6.2 確保集中化IT戰(zhàn)略的標(biāo)準(zhǔn)和治理   301 13.6.3 使用卓越中心來(lái)最小化培訓(xùn)和風(fēng)險(xiǎn)         301 13.6.4 大數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)關(guān)聯(lián)         301 13.6.5 提供高性能和可伸縮的分析沙箱    302 13.6.6 重塑IT運(yùn)營(yíng)模式        302