基于Python的強化學習

目錄
前言
部分　算法與環(huán)境
第1章　強化學習概貌 2
1.1　強化學習導論 3
1.1.1　比較強化學習和監(jiān)督學習 4
1.1.2　強化學習的歷史 5
1.1.3　深度強化學習 6
1.2　強化學習的要素 7
1.2.1　策略 8
1.2.2　值函數(shù) 9
1.2.3　回報（獎勵） 10
1.2.4　模型 11
1.3　強化學習的應用 11
1.3.1　游戲 11
1.3.2　機器人與工業(yè)4.0 12
1.3.3　機器學習 12
1.3.4　經濟學與金融 13
1.3.5　醫(yī)療健康 13
1.3.6　智能交通系統(tǒng) 13
1.3.7　能源優(yōu)化與智能電網(wǎng) 13
1.4　本章小結 13
1.5  思考題 14
1.6  延伸閱讀 14
第2章　強化學習過程與OpenAI Gym 15
2.1　環(huán)境設置 15
2.1.1　安裝OpenAI Gym 16
2.1.2　安裝Roboschool 17
2.2　OpenAI Gym和強化學習過程 17
2.2.1　開發(fā)強化學習過程 18
2.2.2　了解空間概念 21
2.3　利用TesorFlow開發(fā)強化學習模型 22
2.3.1　張量 24
2.3.2　創(chuàng)建計算圖 27
2.3.3　線性回歸示例 28
2.4　TensorBoard介紹 32
2.5　強化學習環(huán)境 34
2.5.1　為什么需要不同的環(huán)境 35
2.5.2　開源環(huán)境 35
2.6　本章小結 37
2.7  思考題 37
2.8  延伸閱讀 38
第3章　基于動態(tài)規(guī)劃的問題求解 39
3.1　馬爾可夫決策過程 39
3.1.1　策略 41
3.1.2　回報 41
3.1.3　值函數(shù) 42
3.1.4　貝爾曼方程 43
3.2　強化學習算法的類別 43
3.2.1　無模型算法 44
3.2.2　基于模型的強化學習 45
3.2.3　算法多樣性 46
3.3　動態(tài)規(guī)劃 46
3.3.1　策略評價與策略改進 47
3.3.2　策略迭代 48
3.3.3　值迭代 52
3.4　本章小結 55
3.5  思考題 55
3.6  延伸閱讀 56
第二部分　無模型強化學習算法
第4章　Q-learning與SARSA的應用 58
4.1　無模型學習 58
4.1.1　已有經驗 59
4.1.2　策略評價 59
4.1.3　探索問題 60
4.2　時間差分學習 60
4.2.1　時間差分更新 61
4.2.2　策略改進 61
4.2.3　比較蒙特卡羅和時間差分方法 62
4.3　SARSA 62
4.3.1　SARSA介紹 62
4.3.2　算法 62
4.4　應用SARSA解決Taxi-v2問題 63
4.5　Q-learning 69
4.5.1　理論 69
4.5.2　算法 70
4.6　應用Q-learning解決Taxi-v2問題 71
4.7　比較SARSA和Q-learning 74
4.8　本章小結 74
4.9  思考題 75
第5章　深度Q神經網(wǎng)絡 76
5.1　深度神經網(wǎng)絡與Q-learning 76
5.1.1　函數(shù)逼近 77
5.1.2　利用神經網(wǎng)絡的Q-learning 77
5.1.3　深度Q-learning的不穩(wěn)定性 78
5.2　DQN 79
5.2.1　解決方案 80
5.2.2　DQN算法 80
5.2.3　模型架構 82
5.3　用于Pong的DQN 83
5.3.1　雅達利游戲 84
5.3.2　預處理流程 84
5.3.3　DQN實現(xiàn) 87
5.3.4　結果 96
5.4　DQN變種 98
5.4.1　DDQN 98
5.4.2　競爭DQN 101
5.4.3　n步DQN 103
5.5　本章小結 104
5.6  思考題 105
5.7  延伸閱讀 105
第6章　隨機策略梯度優(yōu)化 106
6.1　策略梯度方法 106
6.1.1　策略的梯度 107
6.1.2　策略梯度定理 108
6.1.3　梯度的計算 109
6.1.4　策略 109
6.1.5　在線策略梯度 111
6.2　了解REINFORCE算法 111
6.2.1　REINFORCE的實現(xiàn) 113
6.2.2　利用REINFORCE實現(xiàn)航天器著陸 117
6.3　帶基線的REINFORCE算法 119
6.3.1　帶基線的REINFORCE算法的原理 119
6.3.2　帶基線的REINFORCE算法的實現(xiàn) 121
6.4　學習AC算法 122
6.4.1　讓評判者幫助行動者學習 122
6.4.2　n步AC模型 123
6.4.3　AC算法的實現(xiàn) 124
6.4.4　用AC算法實現(xiàn)航天器著陸 127
6.4.5　高級AC算法以及提示和技巧 128
6.5　本章小結 129
6.6  思考題 129
6.7  延伸閱讀 129
第7章　信賴域策略優(yōu)化和近端策略優(yōu)化 130
7.1　Roboschool 130
7.1.1　Roboschool介紹 130
7.1.2　連續(xù)系統(tǒng)的控制 131
7.2　自然策略梯度 134
7.2.1　自然策略梯度的直觀理解 134
7.2.2　數(shù)學知識基礎 136
7.2.3　自然梯度的計算復雜性 137
7.3　信賴域策略優(yōu)化 138
7.3.1　TRPO算法 138
7.3.2　TRPO算法的實現(xiàn) 141
7.3.3　TRPO的應用 147
7.4　近端策略優(yōu)化 148
7.4.1　PPO簡述 149
7.4.2　PPO算法 149
7.4.3　TRPO算法的實現(xiàn) 150
7.4.4　PPO的應用 154
7.5　本章小結 155
7.6  思考題 155
7.7  延伸閱讀 156
第8章　確定性策略梯度方法 157
8.1　策略梯度優(yōu)化與Q-learning的結合 157
8.1.1　兩類算法的優(yōu)缺點 157
8.1.2　確定性策略梯度 158
8.2　深度確定性策略梯度 160
8.2.1　DDPG算法 161
8.2.2　DDPG算法的實現(xiàn) 163
8.2.3　DDPG應用于BipedalWalker-v2 167
8.3　雙延遲深度確定性策略梯度 168
8.3.1　高估偏差問題 169
8.3.2　方差抑制問題 171
8.3.3　TD3應用于BipedalWalker 174
8.4　本章小結 175
8.5  思考題 176
8.6  延伸閱讀 176
第三部分　超越無模型算法
第9章　基于模型的強化學習 178
9.1　基于模型的方法 178
9.1.1　基于模型的學習概述 179
9.1.2　基于模型的方法的優(yōu)缺點 182
9.2　基于模型的學習與無模型學習的結合 183
9.2.1　有用的結合 183
9.2.2　利用圖像構建模型 184
9.3　用于倒立擺的ME-TRPO 185
9.3.1　了解ME-TRPO 186
9.3.2　ME-TRPO的實現(xiàn) 187
9.3.3　RoboSchool實驗 191
9.4　本章小結 193
9.5  思考題 194
9.6  延伸閱讀 194
第10章　模仿學習與DAgger算法 195
10.1　技術要求 195
10.2　模仿學習 196
10.2.1　駕駛助手示例 197
10.2.2　模仿學習與強化學習對比 198
10.2.3　模仿學習中的專家作用 199
10.2.4　模仿學習的結構 199
10.3　Flappy Bird游戲 201
10.3.1　Flappy Bird介紹 201
10.3.2　如何利用環(huán)境 201
10.4　理解數(shù)據(jù)集聚合算法 202
10.4.1　DAgger算法 203
10.4.2　Dagger算法實現(xiàn) 204
10.4.3　Flappy Bird游戲結果分析 209
10.5　反向強化學習 210
10.6　本章小結 210
10.7  思考題 211
10.8  延伸閱讀 211
第11章　黑盒優(yōu)化算法 212
11.1　超越強化學習 212
11.1.1　強化學習簡要回顧 212
11.1.2　替代方法 213
11.2　進化算法的核心 214
11.2.1　遺傳算法 216
11.2.2　進化策略 217
11.3　可擴展的進化策略 218
11.3.1　核心思想 219
11.3.2　可擴展進化策略的實現(xiàn) 220
11.4　應用于LunarLander的可擴展進化策略 226
11.5　本章小結 227
11.6  思考題 228
11.7  延伸閱讀 228
第12章　開發(fā)ESBAS算法 229
12.1　探索與利用 229
12.1.1　探索與利用介紹 229
12.1.2　多臂老虎機 231
12.2　探索的方法 232
12.2.1　?貪婪策略 232
12.2.2　UCB算法 233
12.2.3　探索的復雜性 234
12.3　ESBAS 235
12.3.1　拆箱算法選擇 235
12.3.2　ESBAS介紹 236
12.3.3　算法實現(xiàn) 237
12.3.4　解決Acrobot問題 241
12.4　本章小結 244
12.5  思考題 244
12.6  延伸閱讀 245
第13章　應對強化學習挑戰(zhàn)的實踐 246
13.1　深度強化學習的實踐 246
13.1.1　選擇合適的算法 247
13.1.2　從0到1 248
13.2　深度強化學習的挑戰(zhàn) 250
13.2.1　穩(wěn)定性與可重現(xiàn)性 250
13.2.2　效率 251
13.2.3　泛化 251
13.3　先進技術 252
13.3.1　無監(jiān)督強化學習 252
13.3.2　遷移學習 253
13.4　現(xiàn)實世界中的強化學習 255
13.4.1　現(xiàn)實挑戰(zhàn) 256
13.4.2　彌合模擬與現(xiàn)實世界的差距 257
13.4.3　創(chuàng)建專有環(huán)境 257
13.5　強化學習的未來及其社會影響 258
13.6　本章小結 258
13.7  思考題 259
13.8  延伸閱讀 259
附錄  思考題參考答案 260