元學(xué)習(xí)：基礎(chǔ)與應(yīng)用

前言 1
目錄 3
1 元學(xué)習(xí)介紹 8
1．1 研究背景 13
1．1．1 元學(xué)習(xí)與深度學(xué)習(xí)的區(qū)別和聯(lián)系 15
1．1．2 元學(xué)習(xí)應(yīng)用舉例 19
1．2 元學(xué)習(xí)起源 21
1．2．1 1987年的Jürgen Schmidhuber 21
1．2．2 1990年的Stuart Russell和Eric H． Wefald 24
1．3 近期發(fā)展 25
1．3．1 1997年長短期記憶網(wǎng)絡(luò)LSTM 26
1．3．2 2001年LSTM元學(xué)習(xí)系統(tǒng) 27
1．3．3 2017年MAML算法 28
1．3．4 2019年基于LSTM的元學(xué)習(xí)器 28
1．3．5 2019年基于高效基礎(chǔ)學(xué)習(xí)器的元學(xué)習(xí) 29
1．4 參考文獻(xiàn)和擴(kuò)展閱讀 30
2 元學(xué)習(xí)框架 32
2．1 元學(xué)習(xí)研究常用數(shù)據(jù)集 33
2．2 定義任務(wù) 36
2．2．1 元學(xué)習(xí)任務(wù)的定義 37
2．2．2 元強(qiáng)化學(xué)習(xí)任務(wù)的定義 38
2．2．3 任務(wù)分解 39
2．3 元學(xué)習(xí)訓(xùn)練框架 40
2．4 元學(xué)習(xí)方法分類 42
2．4．1 神經(jīng)網(wǎng)絡(luò)適應(yīng)法 42
2．4．2 度量學(xué)習(xí)適應(yīng)法 43
2．4．3 基礎(chǔ)學(xué)習(xí)器和元學(xué)習(xí)器適應(yīng)法 44
2．4．4 貝葉斯元學(xué)習(xí)適應(yīng)法 44
2．4．5 元學(xué)習(xí)與其他學(xué)習(xí)框架結(jié)合 45
2．5 元學(xué)習(xí)方法比較 46
2．6 參考文獻(xiàn)和擴(kuò)展閱讀 48
3 元學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法 49
3．1 神經(jīng)網(wǎng)絡(luò) 51
3．1．1 神經(jīng)元 51
3．1．2 權(quán)重、偏差和激活函數(shù) 52
3．1．3 網(wǎng)絡(luò)反向傳播算法 54
3．1．4 學(xué)習(xí)率、批尺寸、動量和權(quán)值衰減 56
3．1．5 神經(jīng)網(wǎng)絡(luò)模型的正則化 58
3．1．6 批歸一化 59
3．1．7 隨機(jī)失活 61
3．2 卷積神經(jīng)網(wǎng)絡(luò) 62
3．2．1 卷積層和濾波器 62
3．2．2 池化層和下采樣層 64
3．2．3 全連接層和上采樣層 66
3．2．4 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò) 67
3．3 殘差網(wǎng)絡(luò) 69
3．3．1 殘差網(wǎng)絡(luò)模塊 69
3．3．2 高速路神經(jīng)網(wǎng)絡(luò) 70
3．3．3 寬殘差網(wǎng)絡(luò) 70
3．4 元學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型 71
3．4．1 學(xué)會學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)器 72
3．4．2 預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的適應(yīng) 73
3．4．3 具有適應(yīng)性的神經(jīng)元設(shè)計 75
3．5 自動化機(jī)器學(xué)習(xí) 80
3．5．1 超參數(shù)優(yōu)化 80
3．5．2 元學(xué)習(xí)和自動化機(jī)器學(xué)習(xí) 81
3．5．3 加速自動化機(jī)器學(xué)習(xí) 84
3．5．4 決策式自動化機(jī)器學(xué)習(xí) 88
3．5．5 漸進(jìn)式自動化機(jī)器學(xué)習(xí) 90
3．6 總結(jié) 95
3．7 參考文獻(xiàn)和擴(kuò)展閱讀 95
4 基于度量的元學(xué)習(xí)方法 98
4．1 基于度量的學(xué)習(xí) 99
4．1．1 度量的定義 100
4．1．2 度量學(xué)習(xí)的應(yīng)用 102
4．1．3 有監(jiān)督度量學(xué)習(xí) 103
4．1．4 半監(jiān)督度量學(xué)習(xí) 106
4．1．5 無監(jiān)督度量學(xué)習(xí) 108
4．2 注意力模型 108
4．3 記憶模塊 109
4．4 SNAIL算法 113
4．5 Relation Network算法 115
4．6 Prototypical Network算法 118
4．7 TADAM算法 120
4．8 Dynamic Few-Shot算法 123
4．9 mAP算法 128
4．10 總結(jié) 132
4．11 參考文獻(xiàn)和擴(kuò)展閱讀 133
5 基礎(chǔ)學(xué)習(xí)器和元學(xué)習(xí)器結(jié)合的元學(xué)習(xí) 134
5．1 基礎(chǔ)學(xué)習(xí)器 137
5．2 元學(xué)習(xí)器 138
5．3 MAML算法 139
5．4 Reptile算法 145
5．5 Recurrent Neural Network 149
5．5．1 RNN基礎(chǔ)結(jié)構(gòu) 149
5．5．2 Bidirectional RNN 152
5．5．3 Long Short-Term Memory 153
5．5．4 Gated Recurrent Unit 156
5．6 RNN元學(xué)習(xí)算法 158
5．7 Meta-LSTM算法 160
5．8 R2D2算法 164
5．9 LR2D2算法 167
5．10 MetaOptNet算法 170
5．11 Transductive Propagation Network算法 173
5．12 Latent Embedding Optimization算法 178
5．13 參考文獻(xiàn)和擴(kuò)展閱讀 182
6 貝葉斯思想下的元學(xué)習(xí)方法 184
6．1 Bayesian Program Learning算法 186
6．2 Neural Statistician算法 189
6．3 LLAMA算法 192
6．4 BMAML算法 197
6．5 PLATIPUS算法 202
6．6 VERSA算法 204
6．7 參考文獻(xiàn)和擴(kuò)展閱讀 207
7 元學(xué)習(xí)的應(yīng)用場景 208
7．1 元遷移學(xué)習(xí) 211
7．2 元強(qiáng)化學(xué)習(xí) 212
7．3 元模仿學(xué)習(xí) 213
7．4 在線元學(xué)習(xí) 213
7．5 無監(jiān)督元學(xué)習(xí) 214
7．6 參考文獻(xiàn)和擴(kuò)展閱讀 215
8 元強(qiáng)化學(xué)習(xí) 216
8．1 強(qiáng)化學(xué)習(xí) 216
8．2 基于MAML的元強(qiáng)化學(xué)習(xí) 218
8．3 GrBAL算法 219
8．4 參考文獻(xiàn)和擴(kuò)展閱讀 222
9 元模仿學(xué)習(xí) 223
9．1 模仿學(xué)習(xí) 223
9．2 MAML算法用于元模仿學(xué)習(xí) 225
9．3 MetaMimic算法 226
9．4 參考文獻(xiàn)和擴(kuò)展閱讀 229
10 在線元學(xué)習(xí) 229
10．1 在線學(xué)習(xí) 229
10．2 FTML算法 231
10．3 參考文獻(xiàn)和擴(kuò)展閱讀 233
11 無監(jiān)督元學(xué)習(xí) 233
11．1 無監(jiān)督學(xué)習(xí) 233
11．2 CACTUs算法 235
11．3 參考文獻(xiàn)和擴(kuò)展閱讀 236