機器學習

第1章  引言
  1.1  學習問題的標準描述
  1.2  設(shè)計-個學習系統(tǒng)
    1.2.1  選擇訓練經(jīng)驗
    1.2.2  選擇目標函數(shù)
    1.2.3  選擇目標函數(shù)的表示
    1.2.4  選擇函數(shù)逼近算法
    1.2.5  最終設(shè)計
  1.3  機器學習的一些觀點和問題
  1.4  如何閱讀本書
  1.5  小結(jié)和補充讀物
  習題
第2章  概念學習和一般到特殊序
  2.1  簡介
  2.2  概念學習任務(wù)
    2.2.1  術(shù)語定義
    2.2.2  歸納學習假設(shè)
  2.3  作為搜索的概念學習
  2.4  FIND-S：尋找極大特殊假設(shè)
  2.5  變型空間和候選消除算法
    2.5.1  表示
    2.5.2  列表后消除算法
    2.5.3  變型空間的更簡潔表示
    2.5.4  候選消除學習算法
    2.5.5  算法的舉例
  2.6  關(guān)于變型空間和候選消除的說明
    2.6.1  候選消除算法是否會收斂到正確的假設(shè)
    2.6.2  下一步需要什么樣的訓練樣例
    2.6.3  怎樣使用不完全學習概念
  2.7  歸納偏置
    2.7.1  -個有偏的假設(shè)空間
    2.7.2  無偏的學習器
    2.7.3  無偏學習的無用性
  2.8  小始和補充讀物
  習題
第3章  決策樹學習
  3.1  簡介
  3.2  決策樹表示法
  3.3  決策樹學習的適用問題
  3.4  基本的決策樹學習算法
    3.4.1  哪個屬性是最佳的分類屬性
    3.4.2  舉例
  3.5  決策樹學習中的假設(shè)空間搜索
  3.6  決策樹學習的歸納偏置
    3.6.1  限定偏置和優(yōu)選偏置
    3.6.2  為什么短的假設(shè)優(yōu)先
  3.7  決策樹學習的常見問題
    3.7.1  避免過度擬合數(shù)據(jù)
    3.7.2  合并連續(xù)值屬性
    3.7.3  屬性選擇的其他度量標準
    3.7.4  處理缺少屬性值的訓練樣例
    3.7.5  處理不同代價的屬性
  3.8  小結(jié)和補充讀物
  習題
第4章  人工神經(jīng)網(wǎng)絡(luò)
  4.1  簡介
  4.2  神經(jīng)網(wǎng)絡(luò)表示
  4.3  適合神經(jīng)網(wǎng)絡(luò)學習的問題
  4.4  感知器
    4.4.1  感知器的表征能力
    4.4.2  感知器訓練法則
    4.4.3  梯度下降和delta法則
    4.4.4  小結(jié)
  4.5  多層網(wǎng)絡(luò)和反向傳播算法
    4.5.1  可微閾值單元
    4.5.2  反向傳播算法
    4.5.3  反向傳播法則的推導
  4.6　　反向傳播算法的說明
    4.6.1  收斂性和局部極小值
    4.6.2  前饋網(wǎng)絡(luò)的表征能力
    4.6.3  假設(shè)空間搜索和歸納偏置
    4.6.4  隱藏層表示
    4.6.5  泛化.過度擬合和停止判據(jù)
  4.7  舉例：人臉識別
    4.7.1  任務(wù)
    4.7.2  設(shè)計要素
    4.7.3  學習到的隱藏層表示
  4.8  人工神經(jīng)網(wǎng)絡(luò)的高級課題
    4.8.1  其他可選的誤差函數(shù)
    4.8.2  其他可選的誤差最小化過程
    4.8.3  遞歸網(wǎng)絡(luò)
    4.8.4  動態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)
  4.9  小結(jié)和補充讀物
  習題
第5章  評估假設(shè)
  5.1  動機
  5.2  估計假設(shè)精度
    5.2.1  樣本錯誤率和真實錯誤率
    5.2.2  離散值假設(shè)的置信區(qū)間
  5.3  采樣理論基礎(chǔ)
    5.3.1  錯誤率估計和二項比例估計
    5.3.2  二項分布
    5.3.3  均值和方差
    5.3.4  估計量.偏差和方差
    5.3.5  置信區(qū)間
    5.3.6  雙側(cè)和單側(cè)邊界
  5.4  推導置信區(qū)間的一般方法
  5.5  兩個假設(shè)錯誤率間的差異
  5.6  學習算法比較
    5.6.1  配對t測試
    5.6.2  實際考慮
  5.7  小結(jié)和補充讀物
  習題
第6章  貝葉斯學習
  6.1  簡介
  6.2  貝葉斯法則
  6.3  貝葉斯法則和概念學習
    6.3.1  BRUTE-FORCE貝葉斯概念學習
    6.3.2  MAP假設(shè)和一致學習器
  6.4  極大似然和最小誤差平方假設(shè)
  6.5  用于預(yù)測概率的極大似然假設(shè)
  6.6  最小描述長度準則
  6.7  貝葉斯最優(yōu)分類器
  6.8  GIBBS算法
  6.9  樸素貝葉斯分類器
  6.10  舉例：學習分類文本
  6.11  貝葉斯信念網(wǎng)
    6.11.1  條件獨立性
    6.11.2  表示
    6.11.3  推理
    6.11.4  學習貝葉斯信念網(wǎng)
    6.11.5  貝葉斯網(wǎng)的梯度上升訓練
    6.11.6  學習貝葉斯網(wǎng)的結(jié)構(gòu)
  6.12  EM算法
    6.12.1  估計k個高斯分布的均值
    6.12.2  EM算法的一般表述
    6.12.3  k均值算法的推導
  6.13  小結(jié)和補充讀物
  習題
第7章  計算學習理論
  7.1  簡介
  7.2  可能學習近似正確假設(shè)
    7.2.1  問題框架
    7.2.2  假設(shè)的錯誤率
    7.2.3  PAC可學習性
  7.3  有限假設(shè)空間的樣本復(fù)雜度
    7.3.1  不可知學習和不一致假設(shè)
    7.3.2  布爾文字的合取是PAC可學習的
    7.3.3  其他概念類別的PAC可學習性
  7.4  無限假設(shè)空間的樣本復(fù)雜度
    7.4.1  打散一個實例集合
    7.4.2  Vapnik-Chervonenkis維度
    7.4.3  樣本復(fù)雜度和VC維
    7.4.4  神經(jīng)網(wǎng)絡(luò)的VC維
  7.5  學習的出錯界限模型
    7.5.1  FIND-S算法的出錯界限
    7.5.2  HALVING算法的出錯界限
    7.5.3  最優(yōu)出錯界限
    7.5.4  加權(quán)多數(shù)算法
  7.6  小結(jié)和補充讀物
  習題
第8章  基于實例的學習
  8.1  簡介
  8.2  k-近鄰算法
    8.2.1  距離加權(quán)最近鄰算法
    8.2.2  對k-近鄰算法的說明
    8.2.3  術(shù)語注解
  8.3  局部加權(quán)回歸
    8.3.1  局部加權(quán)線性回歸
    8.3.2  局部加權(quán)回歸的說明
  8.4  徑向基函數(shù)
  8.5  基于案例的推理
  8.6  對消極學習和積極學習的評論
  8.7  小結(jié)和補充讀物
  習題
第9章  遺傳算法
  9.1  動機
  9.2  遺傳算法
    9.2.1  表示假設(shè)
    9.2.2  遺傳算子
    9.2.3  適應(yīng)度函數(shù)和假設(shè)選擇
  9.3  舉例
  9.4  假設(shè)空間搜索
  9.5  遺傳編程
    9.5.1  程序表示
    9.5.2  舉例
    9.5.3  遺傳編程說明
  9.6  進化和學習模型
    9.6.1  拉馬克進化
    9.6.2  鮑德溫效應(yīng)
  9.7  并行遺傳算法
  9.8  小結(jié)和補充讀物
  習題
第10章  學習規(guī)則集合
  10.1  簡介
  10.2  序列覆蓋算法
    10.2.1  一般到特殊的柱狀搜索
    10.2.2  幾種變型
  10.3  學習規(guī)則集：小結(jié)
  10.4　學習一階規(guī)則
    10.4.1  一階Horn子句
    10.4.2  術(shù)語
  10.5  學習一階規(guī)則集：FOIL
    10.5.1  FOIL中的候選特化式的生成
    10.5.2  引導FOIL的搜索
    10.5.3  學習遞歸規(guī)則集
    10.5.4  FOIL小結(jié)
  10.6  作為逆演繹的歸納
  10.7  逆歸納
    10.7.1  一階歸納
    10.7.2  逆歸納：一階情況
    10.7.3  逆歸納小結(jié)
    10.7.4  泛化.-包容和涵蘊
    10.7.5  PROGOL
  10.8  小結(jié)和補充讀物
  習題
第11章  分析學習
  11.1  簡介
  11.2　用完美的領(lǐng)域理論學習：PROLOG-EBG
  11.3  對基于解釋的學習的說明
    11.3.1　發(fā)現(xiàn)新特征
    11.3.2　演繹學習
    11.3.3　基于解釋的學習的歸納偏置
    11.3.4　知識級的學習
  11.4　搜索控制知識的基于解釋的學習
  11.5　小結(jié)和補充讀物
  習題
第12章  歸納和分析學習的結(jié)合
  12.1  動機
  12.2　學習的歸納-分析途徑
    12.2.1  學習問題
    12.2.2　假設(shè)空間搜索
  12.3  使用先驗知識得到初始假設(shè)
    12.3.1  KBANN算法
    12.3.2　舉例
    12.3.3　說明
  12.4　使用先驗知識改變搜索目標
    12.4.1  TANGENTPROP算法
    12.4.2  舉例
    12.4.3  說明
    12.4.4  EBNN算法
    12.4.5  說明
  12.5  使用先驗知識來擴展搜索算子
    12.5.1  FOCL算法
    12.5.2  說明
  12.6  研究現(xiàn)狀
  12.7  小結(jié)和補充讀物
  習題
第13章  增強學習
  13.1  簡介
  13.2  學習任務(wù)
  13.3  Q學習
    13.3.1  Q函數(shù)
    13.3.2  一個學習Q的算法
    13.3.3  舉例
    13.3.4  收斂性
    13.3.5  實驗策略
    13.3.6  更新序列
  13.4  非確定性回報和動作
  13.5  時間差分學習
  13.6  從樣例中泛化
  13.7  與動態(tài)規(guī)劃的聯(lián)樂
  13.8  小結(jié)和補充讀物
  習題
附錄  符號約定