信息物理系統(tǒng)強(qiáng)化學(xué)習(xí)：網(wǎng)絡(luò)安全示例

Reinforcement Learning for Cyber-Physical Systems: with Cybersecurity Case Studies
出版者的話
譯者序
前言
作者簡(jiǎn)介
第一部分　介紹
第1章　強(qiáng)化學(xué)習(xí)概述 2
1.1　強(qiáng)化學(xué)習(xí)綜述 2
1.1.1　引言 2
1.1.2　與其他機(jī)器學(xué)習(xí)方法的比較 4
1.1.3　強(qiáng)化學(xué)習(xí)示例 6
1.1.4　強(qiáng)化學(xué)習(xí)應(yīng)用 7
1.2　強(qiáng)化學(xué)習(xí)的發(fā)展歷史 9
1.2.1　傳統(tǒng)的強(qiáng)化學(xué)習(xí) 9
1.2.2　深度強(qiáng)化學(xué)習(xí) 11
1.3　強(qiáng)化學(xué)習(xí)的仿真工具 12
1.4　本章小結(jié) 13
第2章　信息物理系統(tǒng)和網(wǎng)絡(luò)安全概述 14
2.1　引言 14
2.2　信息物理系統(tǒng)研究示例 16
2.2.1　資源分配 16
2.2.2　數(shù)據(jù)傳輸與管理 18
2.2.3　能源控制 18
2.2.4　基于模型的軟件設(shè)計(jì) 19
2.3　網(wǎng)絡(luò)安全威脅 20
2.3.1　網(wǎng)絡(luò)安全的對(duì)手 20
2.3.2　網(wǎng)絡(luò)安全的目標(biāo) 21
2.4　本章小結(jié) 26
2.5　練習(xí) 26
第二部分　強(qiáng)化學(xué)習(xí)在信息物理系統(tǒng)中的應(yīng)用
第3章　強(qiáng)化學(xué)習(xí)問題 30
3.1　多臂賭博機(jī)問題 30
3.1.1　ε-greedy算法 33
3.1.2　softmax算法 35
3.1.3　UCB算法 36
3.2　上下文賭博機(jī)問題 37
3.3　完整的強(qiáng)化學(xué)習(xí)問題 39
3.3.1　強(qiáng)化學(xué)習(xí)的要素 40
3.3.2　馬爾可夫決策過程介紹 41
3.3.3　值函數(shù) 42
3.4　本章小結(jié) 45
3.5　練習(xí) 45
第4章　基于模型的強(qiáng)化學(xué)習(xí) 49
4.1　引言 49
4.2　動(dòng)態(tài)規(guī)劃 51
4.2.1　策略迭代法 52
4.2.2　價(jià)值迭代法 55
4.2.3　異步動(dòng)態(tài)規(guī)劃 56
4.3　部分可觀察馬爾可夫決策過程 58
4.4　連續(xù)馬爾可夫決策過程 61
4.4.1　惰性近似 61
4.4.2　函數(shù)近似 62
4.5　本章小結(jié) 63
4.6　練習(xí) 64
第5章　無模型強(qiáng)化學(xué)習(xí) 66
5.1　引言 66
5.2　強(qiáng)化學(xué)習(xí)預(yù)測(cè) 66
5.2.1　蒙特卡羅學(xué)習(xí) 66
5.2.2　時(shí)序差分學(xué)習(xí) 69
5.3　強(qiáng)化學(xué)習(xí)控制 71
5.3.1　蒙特卡羅控制 71
5.3.2　基于時(shí)序差分的控制 72
5.3.3　策略梯度 77
5.3.4　actor-critic 81
5.4　高級(jí)算法 84
5.4.1　期望Sarsa 84
5.4.2　雙Q-learning 85
5.5　本章小結(jié) 85
5.6　練習(xí) 86
第6章　深度強(qiáng)化學(xué)習(xí) 90
6.1　引言 90
6.2　深度神經(jīng)網(wǎng)絡(luò) 90
6.2.1　卷積神經(jīng)網(wǎng)絡(luò) 92
6.2.2　循環(huán)神經(jīng)網(wǎng)絡(luò) 94
6.3　深度學(xué)習(xí)在值函數(shù)上的應(yīng)用 95
6.4　深度學(xué)習(xí)在策略函數(shù)上的應(yīng)用 100
6.4.1　DDPG 102
6.4.2　A3C 104
6.5　深度學(xué)習(xí)在強(qiáng)化學(xué)習(xí)模型上的應(yīng)用 107
6.6　深度強(qiáng)化學(xué)習(xí)計(jì)算效率 108
6.7　本章小結(jié) 109
6.8　練習(xí) 109
第三部分　案例研究
第7章　強(qiáng)化學(xué)習(xí)與網(wǎng)絡(luò)安全 112
7.1　傳統(tǒng)的網(wǎng)絡(luò)安全方法 112
7.1.1　傳統(tǒng)的網(wǎng)絡(luò)安全技術(shù) 112
7.1.2　新興網(wǎng)絡(luò)安全威脅 113
7.2　強(qiáng)化學(xué)習(xí)在網(wǎng)絡(luò)安全中的應(yīng)用 114
7.2.1　移動(dòng)群智感知中的虛假感知攻擊 114
7.2.2　認(rèn)知無線電網(wǎng)絡(luò)中的安全強(qiáng)化 115
7.2.3　移動(dòng)邊緣計(jì)算中的安全問題 117
7.2.4　網(wǎng)絡(luò)安全分析師的動(dòng)態(tài)調(diào)度 118
7.3　本章小結(jié) 119
7.4　練習(xí) 119
第8章　案例研究：智能電網(wǎng)中的在線網(wǎng)絡(luò)攻擊檢測(cè) 120
8.1　引言 120
8.2　系統(tǒng)模型和狀態(tài)估計(jì) 122
8.2.1　系統(tǒng)模型 122
8.2.2　狀態(tài)估計(jì) 123
8.3　問題描述 124
8.4　解決方案 127
8.5　仿真結(jié)果 130
8.5.1　仿真設(shè)計(jì)與參數(shù)設(shè)置 130
8.5.2　性能評(píng)估 130
8.6　本章小結(jié) 134
第9章　案例研究：擊敗中間人攻擊 135
9.1　引言 135
9.2　強(qiáng)化學(xué)習(xí)方法 137
9.2.1　狀態(tài)空間 137
9.2.2　行動(dòng)空間 139
9.2.3　獎(jiǎng)勵(lì) 139
9.3　實(shí)驗(yàn)和結(jié)果 139
9.3.1　模型訓(xùn)練 140
9.3.2　在線實(shí)驗(yàn) 141
9.4　討論 143
9.4.1　基于探測(cè)器的檢測(cè)系統(tǒng) 143
9.4.2　運(yùn)用SDN/OpenFlow使模型實(shí)用 144
9.5　本章小結(jié) 144
參考文獻(xiàn) 145
索引 161