數(shù)據(jù)倉庫原理與實踐

第一篇  基本原理篇                  
 第1章　數(shù)據(jù)倉庫概述　2                  
 1.1  數(shù)據(jù)庫到數(shù)據(jù)倉庫的演變　2                  
 1.1.1  蜘蛛網(wǎng)問題　2                  
 1.1.2  操作型系統(tǒng)和分析型系統(tǒng)的分離　5                  
 1.2  商業(yè)智能系統(tǒng)的功能和構成　7                  
 1.2.1  商業(yè)智能系統(tǒng)的數(shù)據(jù)處理循環(huán)　7                  
 1.2.2  決策支持系統(tǒng)的總體功能　7                  
 1.3  倉庫的應用前景　9                  
 第2章　數(shù)據(jù)倉庫的基本原理　12                  
 2.1  數(shù)據(jù)倉庫的體系結構　12                  
 2.1.1  數(shù)據(jù)倉庫的體系結構　12                  
 2.1.2  數(shù)據(jù)倉庫中的關鍵名詞　13                  
 2.2　數(shù)據(jù)倉庫的特點　16                  
 2.2.1  數(shù)據(jù)庫的功能和特征　16                  
 2.2.2  數(shù)據(jù)倉庫的功能和特征　17                  
 2.2.3  面向主題　17                  
 2.2.4  數(shù)據(jù)的集成性　19                  
 2.2.5  數(shù)據(jù)的穩(wěn)定性　21                  
 2.2.6  數(shù)據(jù)隨時間變化的特點　22                  
 2.3　數(shù)據(jù)倉庫的數(shù)據(jù)組織　23                  
 2.3.1  數(shù)據(jù)倉庫的數(shù)據(jù)組織結構　23                  
 2.3.2  數(shù)據(jù)顆粒度　25                  
 2.3.3  數(shù)據(jù)的分割　29                  
 2.3.4  數(shù)據(jù)倉庫的數(shù)據(jù)組織形式　30                  
 2.3.5  數(shù)據(jù)倉庫的數(shù)據(jù)追加技術　32                  
 2.3.6  清理數(shù)據(jù)倉庫的數(shù)據(jù)　36                  
 2.4  數(shù)據(jù)倉庫建設的兩條技術路線　36                  
 2.5　操作數(shù)據(jù)存儲ODS　38                  
 2.5.1　ODS的概念　38                  
 2.5.2  ODS的應用　39                  
 2.5.3　DB－ODS－DW的3層體系結構　41                  
 2.5.4  ODS/DW. ODS/DB間的比較　43                  
 2.6  外部數(shù)據(jù)和非結構數(shù)據(jù)　44                  
 2.6.1  外部數(shù)據(jù)的特征　44                  
 2.6.2  為什么將外部數(shù)據(jù)放在數(shù)據(jù)倉庫　45                  
 2.6.3  對外部數(shù)據(jù)進行管理的元數(shù)據(jù)　46                  
 2.6.4  外部數(shù)據(jù)/非結構化數(shù)據(jù)的存儲　47                  
 2.6.5  外部數(shù)據(jù)的使用　49                  
 第3章　OLAP的基本原理　50                  
 3.1  OLAP的基本概念　50                  
 3.1.1  OLAP的基本概念　50                  
 3.1.2  OLAP的基本分析動作　53                  
 3.1.3  OLAP的展現(xiàn)方式　57                  
 3.1.4  OLAP和OLTP　59                  
 3.1.5  OLAP的體系結構和分類　60                  
 3.2  以多維數(shù)據(jù)庫為基礎的OLAP服務器　61                  
 3.2.1  多維數(shù)據(jù)庫（Multi-Dimensional Database）　61                  
 3.2.2  MDDB產品實例　64                  
 3.2.3  MOLAP產品的結構　66                  
 3.3  基于關系型數(shù)據(jù)庫的OLAP（ROLAP）　66                  
 3.3.1  維表　67                  
 3.3.2  事實表　67                  
 3.3.3  星型結構　69                  
 3.3.4　ROLAP和MOLAP的比較　73                  
 3.3.5　HOLAP（Hybrid OLAP）　76                  
 3.4　OLAP的特征和衡量　76                  
 3.4.1  OLAP的12準則　76                  
 3.4.2  OLAP的簡潔準則　79                  
 3.5  OLAP的前端展現(xiàn)方式　80                  
 3.5.1  OLAP的C/S方式　80                  
 3.5.2  OLAP的Web　80                  
 3.5.3  瘦客戶機方式　81                  
 3.5.4  OLAP的局限性　82                  
 第4章　數(shù)據(jù)挖掘基礎　83                  
 4.1  數(shù)據(jù)挖掘的概念　83                  
 4.1.1  什么是數(shù)據(jù)挖掘　83                  
 4.1.2  數(shù)據(jù)挖掘的形式化定義　84                  
 4.1.3  數(shù)據(jù)挖掘的基本步驟　85                  
 4.1.4  數(shù)據(jù)挖掘方法的分類　85                  
 4.2  描述性挖掘分析　87                  
 4.2.1  關聯(lián)規(guī)則　87                  
 4.2.2  序列模型分析　92                  
 4.2.3  聚類分析（Clustering）　93                  
 4.3  預測類的挖掘算法　98                  
 4.3.1  分類問題　99                  
 4.3.2  回歸問題　102                  
 4.3.3  時間序列問題　102                  
 4.3.4　神經網(wǎng)絡　105                  
 4.3.5  決策樹分析　110                  
 4.4  數(shù)據(jù)挖掘的體系結構　112                  
 4.5  數(shù)據(jù)挖掘系統(tǒng)的應用實例　113                  
 4.5.1  從用戶的行為模式來自動地生成動態(tài)鏈接　113                  
 4.5.2  用數(shù)據(jù)挖掘的方法來解決網(wǎng)絡擁擠的問題　119                  
 4.6  數(shù)據(jù)挖掘和相關系統(tǒng)的聯(lián)系　120                  
 4.6.1  數(shù)據(jù)挖掘和人工智能. 統(tǒng)計學的關系　120                  
 4.6.2  數(shù)據(jù)挖掘和數(shù)據(jù)倉庫的關系　121                  
 4.6.3  數(shù)據(jù)挖掘和OLAP的區(qū)別和聯(lián)系　122                  
 4.6.4  數(shù)據(jù)挖掘不是萬能的　124                  
 第二篇  設計建模篇                  
 第5章  企業(yè)模型設計　126                  
 5.1  數(shù)據(jù)倉庫設計和數(shù)據(jù)庫設計的區(qū)別　126                  
 5.2  企業(yè)模型　129                  
 5.2.1  什么是企業(yè)模型　129                  
 5.2.2  面向對象的分析方法　133                  
 5.2.3  使用面向對象的方法建立企業(yè)模型　139                  
 5.2.4  面向對象方法和ER模型的對比　144                  
 5.3  企業(yè)模型到數(shù)據(jù)庫模型的映射　145                  
 5.3.1  限定集成的范圍　145                  
 5.3.2  映射到關系模型　146                  
 5.3.3  對比映射結果和現(xiàn)有系統(tǒng)　148                  
 5.4  將企業(yè)模型映射到數(shù)據(jù)倉庫概念模型　149                  
 第6章  數(shù)據(jù)倉庫的模型設計　152                  
 6.1  數(shù)據(jù)倉庫的邏輯模型設計　152                  
 6.1.1  系統(tǒng)數(shù)據(jù)量估算　152                  
 6.1.2  數(shù)據(jù)顆粒度的選擇　153                  
 6.1.3  表的分割　157                  
 6.1.4  增加時間字段　157                  
 6.1.5  去除純操作型數(shù)據(jù)　157                  
 6.1.6  合理的表劃分　158                  
 6.1.7  定義關系模式　161                  
 6.1.8  增加導出字段　161                  
 6.1.9  記錄系統(tǒng)的定義　162                  
 6.2  數(shù)據(jù)倉庫的物理模型設計　163                  
 6.2.1  確定數(shù)據(jù)的存儲結構　163                  
 6.2.2  索引策略　166                  
 6.2.3  數(shù)據(jù)存儲策略　173                  
 6.2.4  存儲分配優(yōu)化　176                  
 6.3  數(shù)據(jù)裝載接口設計　176                  
 6.4  并行優(yōu)化　177                  
 6.4.1  數(shù)據(jù)倉庫中并行優(yōu)化的必要性和可能性　177                  
 6.4.2  并行體系結構　179                  
 第7章  OLAP建模方法　183                  
 7.1  維表　183                  
 7.1.1  維表的特征　183                  
 7.1.2  維的變化　184                  
 7.1.3  維表的共享　187                  
 7.1.4  雪花型結構處理多對多關系　189                  
 7.1.5  層次信息和分類信息的位置　191                  
 7.1.6  非分析數(shù)據(jù)的分離　194                  
 7.1.7  典型的維層次　195                  
 7.2  事實表　198                  
 7.2.1  事實　198                  
 7.2.2  事實表的特征　199                  
 7.2.3  數(shù)據(jù)的粒度　199                  
 7.2.4  聚合操作和聚合表　200                  
 7.2.5  沒有度量變量的事實表　201                  
 7.2.6  通用數(shù)據(jù)和專用數(shù)據(jù)事實表　202                  
 7.3  OLAP的并行優(yōu)化　204                  
 7.3.1  B-TREE索引. 位圖索引和Bit-Wise索引　204                  
 7.3.2  星型查詢優(yōu)化　204                  
 7.3.3  預連接技術　207                  
 7.4  多維數(shù)據(jù)庫　207                  
 第8章　數(shù)據(jù)倉庫規(guī)劃和開發(fā)方法　210                  
 8.1 數(shù)據(jù)倉庫的投資分析　210                  
 8.1.1  數(shù)據(jù)倉庫的應用目標　210                  
 8.1.2  建設數(shù)據(jù)倉庫的必要性　211                  
 8.1.3  數(shù)據(jù)倉庫的投資回報分析　211                  
 8.1.4  技術選擇分析　212                  
 8.1.5  IDC的統(tǒng)計結果　213                  
 8.2  數(shù)據(jù)倉庫的開發(fā)方法　213                  
 8.2.1  瀑布式開發(fā)　213                  
 8.2.2  螺旋式開發(fā)　214                  
 8.3  數(shù)據(jù)倉庫主題的選擇和階段規(guī)劃　216                  
 8.3.1  階段規(guī)劃的原則　216                  
 8.3.2  維護階段　216                  
 8.4  現(xiàn)有數(shù)據(jù)庫系統(tǒng)的改造問題　216                  
 8.5  數(shù)據(jù)倉庫和數(shù)據(jù)庫系統(tǒng)的相互作用　217                  
 8.5.1  相互促進的過程　217                  
 8.5.2  解決“蜘蛛網(wǎng)”問題　218                  
 8.5.3  數(shù)據(jù)倉庫的“間接使用”　218                  
 8.6  分布式數(shù)據(jù)倉庫　219                  
 8.6.1  采用分布式數(shù)據(jù)倉庫的原因　219                  
 8.6.2  分布式下的模型建立和數(shù)據(jù)劃分　221                  
 8.6.3  分布式數(shù)據(jù)倉庫的建設策略　224                  
 8.6.4  分布式數(shù)據(jù)倉庫技術的缺點　227                  
 8.7  需要避免的錯誤　228                  
 第9章  數(shù)據(jù)挖掘的實施過程　231                  
 9.1  數(shù)據(jù)挖掘過程模型5A　231                  
 9.2  數(shù)據(jù)挖掘過程模型CRISP-DM　233                  
 9.3  數(shù)據(jù)挖掘過程中的相關問題　235                  
 9.3.1  定義商業(yè)問題　235                  
 9.3.2  建立數(shù)據(jù)挖掘庫　236                  
 9.3.3  分析數(shù)據(jù) /選擇變量　241                  
 9.3.4  模型訓練方法　245                  
 9.3.5  數(shù)據(jù)挖掘模型的評價方法　248                  
 9.3.6  數(shù)據(jù)倉庫的實施和維護　250                  
 9.3.7  模型實例　250                  
 第10章  數(shù)據(jù)倉庫的建立和維護　252                  
 10.1  數(shù)據(jù)倉庫建立的過程　252                  
 10.1.1  建立企業(yè)模型　252                  
 10.1.2  階段規(guī)劃/主題選取　253                  
 10.1.3  技術準備工作　253                  
 10.1.4  邏輯設計　254                  
 10.1.5  物理設計　255                  
 10.1.6  數(shù)據(jù)載入接口設計　255                  
 10.1.7  裝載一個主題的數(shù)據(jù)和數(shù)據(jù)校驗　256                  
 10.1.8  OLAP模型設計和應用開發(fā)　256                  
 10.1.9  數(shù)據(jù)準備程序設計　257                  
 10.1.10  數(shù)據(jù)挖掘模型設計　257                  
 10.1.11  界面系統(tǒng)設計　258                  
 10.1.12  裝載其他主題數(shù)據(jù)　258                  
 10.1.13  同客戶交流　259                  
 10.1.14  重新開始循環(huán)　260                  
 10.2  數(shù)據(jù)倉庫的維護工作　260                  
 10.2.1  數(shù)據(jù)周期　260                  
 10.2.2  參照完整性　261                  
 10.2.3  數(shù)據(jù)環(huán)境信息　262                  
 第三篇  產品介紹篇                  
 第11章  數(shù)據(jù)倉庫產品的介紹　266                  
 11.1  數(shù)據(jù)倉庫工具　266                  
 11.2  INFORMIX數(shù)據(jù)倉庫產品簡介　268                  
 11.2.1  INFORMIX數(shù)據(jù)倉庫解決方案　268                  
 11.2.2  數(shù)據(jù)抽取. 轉換和裝載　269                  
 11.2.3  數(shù)據(jù)存儲　270                  
 11.2.4  數(shù)據(jù)訪問/呈現(xiàn)　274                  
 11.3  SAS產品簡介　278                  
 第12章  數(shù)據(jù)倉庫產品的選擇　283                  
 12.1  數(shù)據(jù)倉庫產品應具備的關鍵技術　283                  
 12.2  各數(shù)據(jù)倉庫廠商產品的比較　285                  
 12.3  數(shù)據(jù)倉庫工具的選擇　286                  
 12.4  數(shù)據(jù)倉庫工具的互通問題　287                  
 第四篇  應用實踐篇                  
 第13章  項目的需求和目標分析　292                  
 13.1  電信領域建立數(shù)據(jù)倉庫的常見主題　292                  
 13.2  電信領域常見的分析問題　295                  
 13.2.1  客戶群體劃分　295                  
 13.2.2  客戶流失分析　296                  
 13.2.3  客戶欺詐分析　296                  
 13.2.4  網(wǎng)絡規(guī)劃優(yōu)化　297                  
 13.2.5  網(wǎng)管中的分析問題　298                  
 13.3  項目規(guī)劃　301                  
 13.4  需求分析的形成　301                  
 13.4.1  任務說明書　301                  
 13.4.2  需求說明書　302                  
 第14章  系統(tǒng)結構和模型設計　307                  
 14.1  系統(tǒng)結構設計　307                  
 14.1.1  數(shù)據(jù)量的估算　307                  
 14.1.2  系統(tǒng)硬件結構/軟件結構選擇　307                  
 14.2  數(shù)據(jù)倉庫模型的設計　310                  
 14.2.1  可利用的數(shù)據(jù)　310                  
 14.2.2  粒度的確定　311                  
 14.3  OLAP模型設計　314                  
 14.3.1  項目涉及的維度分析　315                  
 14.3.2  各個主題的維度設計　317                  
 第15章　系統(tǒng)裝載. 數(shù)據(jù)挖掘和界面設計　324                  
 15.1  數(shù)據(jù)裝載/數(shù)據(jù)綜合模塊設計　324                  
 15.2  OLAP模型生成程序　329                  
 15.3  數(shù)據(jù)挖掘寬表設計和生成　335                  
 15.3.1  確定同目標變量相關的數(shù)據(jù)　335                  
 15.3.2  創(chuàng)建新變量　336                  
 15.3.3  準備訓練集合與驗證集合　342                  
 15.3.4  確定分析的次序　343                  
 15.3.5  變量選擇　343                  
 15.3.6  模型的維護和完善　344                  
 15.4  創(chuàng)建多維數(shù)據(jù)庫模塊設計　345                  
 第16章  界面設計和項目總結　348                  
 16.1  界面展現(xiàn)設計　348                  
 16.1.1  三層體系結構　348                  
 16.1.2  按照內容對界面進行規(guī)劃　349                  
 16.2  系統(tǒng)的工作流程總結　351                  
 16.3  系統(tǒng)的數(shù)據(jù)流程總結　353                  
 16.4  系統(tǒng)的模塊組成　355                  
 附錄  常用名詞表　356