隨機學(xué)習(xí)與優(yōu)化：基于靈敏度的方法

1 引言
　1.1 學(xué)習(xí)和優(yōu)化概述
　　1.1.1 問題描述
　　1.1.2 最優(yōu)策略
　　1.1.3 學(xué)習(xí)和優(yōu)化的基本局限
　　1.1.4 學(xué)習(xí)和優(yōu)化的基于靈敏度的觀點
　1.2 不同學(xué)科中問題的描述
　　1.2.1 攝動分析（PA）
　　1.2.2 馬爾可夫決策過程
　　1.2.3 強化學(xué)習(xí)
　　1.2.4 辨識和自適應(yīng)控制
　　1.2.5 基于事件的優(yōu)化和性能勢集結(jié)
　1.3 學(xué)習(xí)和優(yōu)化學(xué)科關(guān)系圖
　1.4 術(shù)語和符號
　習(xí)題
第1部分 學(xué)習(xí)與優(yōu)化的四門學(xué)科
　2 攝動分析
　　2.1 馬爾可夫鏈的攝動分析
　　　2.1.1 構(gòu)造攝動樣本路徑
　　　2.1.2 攝動實現(xiàn)因子和性能勢
　　　2.1.3 性能導(dǎo)數(shù)公式
　　　2.1.4 折扣報酬準(zhǔn)則的梯度
　　　2.1.5 高階導(dǎo)數(shù)和麥克勞林級數(shù)
　　2.2 馬爾可夫過程的性能靈敏度
　　2.3 半馬爾可夫過程的性能靈敏度
　　　2.3.1 半馬爾可夫過程的基礎(chǔ)知識
　　　2.3.2 性能靈敏度公式
　　2.4 排隊系統(tǒng)的攝動分析
　　　2.4.1 構(gòu)造攝動樣本路徑
　　　2.4.2 攝動實現(xiàn)
　　　2.4.3 性能導(dǎo)數(shù)
　　　2.4.4 相關(guān)理論問題的評注
　　2.5 其他方法
　　習(xí)題
　3 利用攝動分析的學(xué)習(xí)與優(yōu)化
　　3.1 性能勢
　　　3.1.1 數(shù)值方法
　　　3.1.2 從樣本路徑學(xué)習(xí)性能勢
　　　3.1.3 耦合
　　3.2 性能梯度
　　　3.2.1 通過性能勢估計
　　　3.2.2 直接學(xué)習(xí)
　　3.3 利用攝動分析的優(yōu)化
　　　3.3.1 梯度方法和隨機逼近
　　　3.3.2 利用長樣本路徑的優(yōu)化
　　　3.3.3 應(yīng)用
　　習(xí)題
　4 馬爾可夫決策過程
　……
第2部分 基于事件的優(yōu)化——一種新方法
第3部分 附錄：數(shù)學(xué)基礎(chǔ)