元學習：基礎(chǔ)與應(yīng)用

前言 1
目錄 3
1 元學習介紹 8
1．1 研究背景 13
1．1．1 元學習與深度學習的區(qū)別和聯(lián)系 15
1．1．2 元學習應(yīng)用舉例 19
1．2 元學習起源 21
1．2．1 1987年的Jürgen Schmidhuber 21
1．2．2 1990年的Stuart Russell和Eric H． Wefald 24
1．3 近期發(fā)展 25
1．3．1 1997年長短期記憶網(wǎng)絡(luò)LSTM 26
1．3．2 2001年LSTM元學習系統(tǒng) 27
1．3．3 2017年MAML算法 28
1．3．4 2019年基于LSTM的元學習器 28
1．3．5 2019年基于高效基礎(chǔ)學習器的元學習 29
1．4 參考文獻和擴展閱讀 30
2 元學習框架 32
2．1 元學習研究常用數(shù)據(jù)集 33
2．2 定義任務(wù) 36
2．2．1 元學習任務(wù)的定義 37
2．2．2 元強化學習任務(wù)的定義 38
2．2．3 任務(wù)分解 39
2．3 元學習訓練框架 40
2．4 元學習方法分類 42
2．4．1 神經(jīng)網(wǎng)絡(luò)適應(yīng)法 42
2．4．2 度量學習適應(yīng)法 43
2．4．3 基礎(chǔ)學習器和元學習器適應(yīng)法 44
2．4．4 貝葉斯元學習適應(yīng)法 44
2．4．5 元學習與其他學習框架結(jié)合 45
2．5 元學習方法比較 46
2．6 參考文獻和擴展閱讀 48
3 元學習神經(jīng)網(wǎng)絡(luò)方法 49
3．1 神經(jīng)網(wǎng)絡(luò) 51
3．1．1 神經(jīng)元 51
3．1．2 權(quán)重、偏差和激活函數(shù) 52
3．1．3 網(wǎng)絡(luò)反向傳播算法 54
3．1．4 學習率、批尺寸、動量和權(quán)值衰減 56
3．1．5 神經(jīng)網(wǎng)絡(luò)模型的正則化 58
3．1．6 批歸一化 59
3．1．7 隨機失活 61
3．2 卷積神經(jīng)網(wǎng)絡(luò) 62
3．2．1 卷積層和濾波器 62
3．2．2 池化層和下采樣層 64
3．2．3 全連接層和上采樣層 66
3．2．4 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò) 67
3．3 殘差網(wǎng)絡(luò) 69
3．3．1 殘差網(wǎng)絡(luò)模塊 69
3．3．2 高速路神經(jīng)網(wǎng)絡(luò) 70
3．3．3 寬殘差網(wǎng)絡(luò) 70
3．4 元學習神經(jīng)網(wǎng)絡(luò)模型 71
3．4．1 學會學習的神經(jīng)網(wǎng)絡(luò)學習器 72
3．4．2 預(yù)訓練深度神經(jīng)網(wǎng)絡(luò)的適應(yīng) 73
3．4．3 具有適應(yīng)性的神經(jīng)元設(shè)計 75
3．5 自動化機器學習 80
3．5．1 超參數(shù)優(yōu)化 80
3．5．2 元學習和自動化機器學習 81
3．5．3 加速自動化機器學習 84
3．5．4 決策式自動化機器學習 88
3．5．5 漸進式自動化機器學習 90
3．6 總結(jié) 95
3．7 參考文獻和擴展閱讀 95
4 基于度量的元學習方法 98
4．1 基于度量的學習 99
4．1．1 度量的定義 100
4．1．2 度量學習的應(yīng)用 102
4．1．3 有監(jiān)督度量學習 103
4．1．4 半監(jiān)督度量學習 106
4．1．5 無監(jiān)督度量學習 108
4．2 注意力模型 108
4．3 記憶模塊 109
4．4 SNAIL算法 113
4．5 Relation Network算法 115
4．6 Prototypical Network算法 118
4．7 TADAM算法 120
4．8 Dynamic Few-Shot算法 123
4．9 mAP算法 128
4．10 總結(jié) 132
4．11 參考文獻和擴展閱讀 133
5 基礎(chǔ)學習器和元學習器結(jié)合的元學習 134
5．1 基礎(chǔ)學習器 137
5．2 元學習器 138
5．3 MAML算法 139
5．4 Reptile算法 145
5．5 Recurrent Neural Network 149
5．5．1 RNN基礎(chǔ)結(jié)構(gòu) 149
5．5．2 Bidirectional RNN 152
5．5．3 Long Short-Term Memory 153
5．5．4 Gated Recurrent Unit 156
5．6 RNN元學習算法 158
5．7 Meta-LSTM算法 160
5．8 R2D2算法 164
5．9 LR2D2算法 167
5．10 MetaOptNet算法 170
5．11 Transductive Propagation Network算法 173
5．12 Latent Embedding Optimization算法 178
5．13 參考文獻和擴展閱讀 182
6 貝葉斯思想下的元學習方法 184
6．1 Bayesian Program Learning算法 186
6．2 Neural Statistician算法 189
6．3 LLAMA算法 192
6．4 BMAML算法 197
6．5 PLATIPUS算法 202
6．6 VERSA算法 204
6．7 參考文獻和擴展閱讀 207
7 元學習的應(yīng)用場景 208
7．1 元遷移學習 211
7．2 元強化學習 212
7．3 元模仿學習 213
7．4 在線元學習 213
7．5 無監(jiān)督元學習 214
7．6 參考文獻和擴展閱讀 215
8 元強化學習 216
8．1 強化學習 216
8．2 基于MAML的元強化學習 218
8．3 GrBAL算法 219
8．4 參考文獻和擴展閱讀 222
9 元模仿學習 223
9．1 模仿學習 223
9．2 MAML算法用于元模仿學習 225
9．3 MetaMimic算法 226
9．4 參考文獻和擴展閱讀 229
10 在線元學習 229
10．1 在線學習 229
10．2 FTML算法 231
10．3 參考文獻和擴展閱讀 233
11 無監(jiān)督元學習 233
11．1 無監(jiān)督學習 233
11．2 CACTUs算法 235
11．3 參考文獻和擴展閱讀 236