深入淺出圖神經(jīng)網(wǎng)絡(luò)：GNN原理解析

前言
第1章　圖的概述 1
1.1　圖的基本定義 1
1.1.1　圖的基本類型 2
1.1.2　鄰居和度 4
1.1.3　子圖與路徑 4
1.2　圖的存儲(chǔ)與遍歷 5
1.2.1　鄰接矩陣與關(guān)聯(lián)矩陣 5
1.2.2　圖的遍歷 6
1.3　圖數(shù)據(jù)的應(yīng)用場(chǎng)景 7
1.4　圖數(shù)據(jù)深度學(xué)習(xí) 10
1.5　參考文獻(xiàn) 13
第2章　神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 17
2.1　機(jī)器學(xué)習(xí)基本概念 17
2.1.1　機(jī)器學(xué)習(xí)分類 17
2.1.2　機(jī)器學(xué)習(xí)流程概述 18
2.1.3　常見的損失函數(shù) 21
2.1.4　梯度下降算法 23
2.2　神經(jīng)網(wǎng)絡(luò) 25
2.2.1　神經(jīng)元 25
2.2.2　多層感知器 27
2.3　激活函數(shù) 29
2.3.1　S型激活函數(shù) 30
2.3.2　ReLU及其變種 30
2.4　訓(xùn)練神經(jīng)網(wǎng)絡(luò) 33
2.4.1　神經(jīng)網(wǎng)絡(luò)的運(yùn)行過程 34
2.4.2　反向傳播 34
2.4.3　優(yōu)化困境 36
2.5　參考文獻(xiàn) 38
第3章　卷積神經(jīng)網(wǎng)絡(luò) 39
3.1　卷積與池化 39
3.1.1　信號(hào)處理中的卷積 39
3.1.2　深度學(xué)習(xí)中的卷積操作 42
3.1.3　池化 46
3.2　卷積神經(jīng)網(wǎng)絡(luò) 46
3.2.1　卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 47
3.2.2　卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 49
3.3　特殊的卷積形式 51
3.3.1　1×1卷積 51
3.3.2　轉(zhuǎn)置卷積 52
3.3.3　空洞卷積 54
3.3.4　分組卷積 55
3.3.5　深度可分離卷積 55
3.4　卷積網(wǎng)絡(luò)在圖像分類中的應(yīng)用 56
3.4.1　VGG 56
3.4.2　Inception系列 57
3.4.3　ResNet 60
3.5　參考文獻(xiàn) 62
第4章　表示學(xué)習(xí) 65
4.1　表示學(xué)習(xí) 65
4.1.1　表示學(xué)習(xí)的意義 65
4.1.2　離散表示與分布式表示 66
4.1.3　端到端學(xué)習(xí)是一種強(qiáng)大的表示學(xué)習(xí)方法 68
4.2　基于重構(gòu)損失的方法—自編碼器 69
4.2.1　自編碼器 69
4.2.2　正則自編碼器 71
4.2.3　變分自編碼器 72
4.3　基于對(duì)比損失的方法—Word2vec 75
4.4　參考文獻(xiàn) 79
第5章　圖信號(hào)處理與圖卷積神經(jīng)網(wǎng)絡(luò) 81
5.1　矩陣乘法的三種方式 81
5.2　圖信號(hào)與圖的拉普拉斯矩陣 83
5.3　圖傅里葉變換 85
5.4　圖濾波器 90
5.4.1　空域角度 93
5.4.2　頻域角度 94
5.5　圖卷積神經(jīng)網(wǎng)絡(luò) 96
5.6　GCN實(shí)戰(zhàn) 101
5.7　參考文獻(xiàn) 109
第6章　GCN的性質(zhì) 111
6.1　GCN與CNN的聯(lián)系 111
6.2　GCN能夠?qū)D數(shù)據(jù)進(jìn)行端對(duì)端學(xué)習(xí) 115
6.3　GCN是一個(gè)低通濾波器 120
6.4　GCN的問題—過平滑 122
6.5　參考文獻(xiàn) 127
第7章　GNN的變體與框架 129
7.1　GraphSAGE 129
7.1.1　采樣鄰居 130
7.1.2　聚合鄰居 131
7.1.3　GraphSAGE算法過程 132
7.2　GAT 134
7.2.1　注意力機(jī)制 134
7.2.2　圖注意力層 137
7.2.3　多頭圖注意力層 138
7.3　R-GCN 140
7.3.1　知識(shí)圖譜 140
7.3.2　R-GCN 141
7.4　GNN的通用框架 143
7.4.1　MPNN 143
7.4.2　NLNN 146
7.4.3　GN 147
7.5　GraphSAGE實(shí)戰(zhàn) 148
7.6　參考文獻(xiàn) 153
第8章　圖分類 155
8.1　基于全局池化的圖分類 155
8.2　基于層次化池化的圖分類 156
8.2.1　基于圖坍縮的池化機(jī)制 157
8.2.2　基于TopK的池化機(jī)制 165
8.2.3　基于邊收縮的池化機(jī)制 168
8.3　圖分類實(shí)戰(zhàn) 169
8.4　參考文獻(xiàn) 177
第9章　基于GNN的圖表示學(xué)習(xí) 179
9.1　圖表示學(xué)習(xí) 180
9.2　基于GNN的圖表示學(xué)習(xí) 182
9.2.1　基于重構(gòu)損失的GNN 183
9.2.2　基于對(duì)比損失的GNN 184
9.3　基于圖自編碼器的推薦系統(tǒng) 188
9.4　參考文獻(xiàn) 195
第10章　GNN的應(yīng)用簡(jiǎn)介 197
10.1　GNN的應(yīng)用簡(jiǎn)述 197
10.2　GNN的應(yīng)用案例 199
10.2.1　3D視覺 199
10.2.2　基于社交網(wǎng)絡(luò)的推薦系統(tǒng) 203
10.2.3　視覺推理 205
10.3　GNN的未來展望 208
10.4　參考文獻(xiàn) 209
附錄A　符號(hào)聲明 211