Python快樂編程：人工智能深度學(xué)習(xí)基礎(chǔ)

第1章深度學(xué)習(xí)簡介
1.1什么是機(jī)器學(xué)習(xí)
1.2什么是深度學(xué)習(xí)
1.2.1深度學(xué)習(xí)的發(fā)展
1.2.2深度學(xué)習(xí)的3個(gè)層次
1.2.3深度學(xué)習(xí)的3種結(jié)構(gòu)類型
1.3深度學(xué)習(xí)的研究現(xiàn)狀
1.4本章小結(jié)
1.5習(xí)題
第2章Theano基礎(chǔ)
2.1初識(shí)Theano
2.2安裝Theano
2.3配置環(huán)境變量
2.4Theano中的符號(hào)變量
2.5Theano編程風(fēng)格
2.6Theano中的函數(shù)
2.6.1函數(shù)的定義
2.6.2函數(shù)的復(fù)制
2.6.3Theano中重要的函數(shù)
2.7Theano中的符號(hào)計(jì)算圖模型
2.7.1variable節(jié)點(diǎn)
2.7.2type節(jié)點(diǎn)
2.7.3apply節(jié)點(diǎn)
2.7.4op節(jié)點(diǎn)
2.7.5符號(hào)計(jì)算圖模型
2.8Theano中的條件表達(dá)式
2.9Theano中的循環(huán)
2.9.1scan循環(huán)的參數(shù)
2.9.2scan循環(huán)演示
2.10Theano中的常用Debug技巧
2.11本章小結(jié)
2.12習(xí)題
第3章線性代數(shù)基礎(chǔ)
3.1標(biāo)量、向量、矩陣和張量
3.2線性相關(guān)與生成子空間
3.2.1線性組合
3.2.2線性相關(guān)
3.2.3向量組的秩
3.2.4實(shí)例： 求解方程組
3.2.5實(shí)例： 線性回歸
3.3范數(shù)
3.3.1向量范數(shù)
3.3.2矩陣范數(shù)
3.4特殊的矩陣與向量
3.5特征值分解
3.6奇異值分解
3.7跡運(yùn)算
3.8本章小結(jié)
3.9習(xí)題
第4章概率與信息論
4.1概率的用途
4.2樣本空間與隨機(jī)變量
4.3隨機(jī)變量的分布函數(shù)
4.4一維隨機(jī)變量
4.4.1離散型隨機(jī)變量和分布律
4.4.2連續(xù)型隨機(jī)變量和概率密度函數(shù)
4.4.3分辨離散型隨機(jī)變量和連續(xù)型隨機(jī)變量
4.5多維隨機(jī)變量
4.5.1二維隨機(jī)變量及其分布函數(shù)
4.5.2邊緣分布函數(shù)
4.6數(shù)學(xué)期望、方差、協(xié)方差
4.6.1數(shù)學(xué)期望
4.6.2方差
4.6.3協(xié)方差
4.7貝葉斯規(guī)則
4.7.1條件概率
4.7.2貝葉斯公式
4.7.3樸素貝葉斯
4.8正態(tài)分布與似然估計(jì)
4.8.1正態(tài)分布
4.8.2似然估計(jì)
4.9信息論
4.9.1信息熵
4.9.2條件熵
4.9.3互信息
4.9.4相對熵與交叉熵
4.10本章小結(jié)
4.11習(xí)題
第5章深度學(xué)習(xí)基礎(chǔ)知識(shí)
5.1學(xué)習(xí)算法
5.1.1任務(wù)T
5.1.2性能度量P
5.1.3經(jīng)驗(yàn)E
5.1.4人工神經(jīng)網(wǎng)絡(luò)
5.1.5反向傳播算法
5.1.6MP神經(jīng)元模型
5.1.7激活函數(shù)
5.2容量與擬合
5.2.1機(jī)器學(xué)習(xí)中的泛化
5.2.2過擬合
5.2.3欠擬合
5.2.4沒有免費(fèi)的午餐定理
5.3評(píng)估方法
5.4偏差與方差
5.5監(jiān)督學(xué)習(xí)算法
5.5.1線性回歸
5.5.2Logistic回歸
5.5.3支持向量機(jī)
5.6無監(jiān)督學(xué)習(xí)算法
5.6.1K均值聚類
5.6.2主成分分析
5.7本章小結(jié)
5.8習(xí)題
第6章數(shù)值計(jì)算與化
6.1計(jì)算的穩(wěn)定性
6.1.1上溢和下溢
6.1.2平滑與0
6.1.3算法穩(wěn)定性與擾動(dòng)
6.2數(shù)據(jù)的穩(wěn)定性
6.2.1獨(dú)立同分布與泛化能力
6.2.2類別不平衡
6.3性能的穩(wěn)定性
6.4病態(tài)條件數(shù)
6.5梯度下降算法
6.6優(yōu)化算法的選擇
6.7本章小結(jié)
6.8習(xí)題
第7章概率圖模型
7.1概率圖模型
7.2生成模型與判別模型
7.2.1生成模型
7.2.2判別模型
7.3表示理論與推理理論
7.4鏈?zhǔn)椒▌t和因子分解
7.5獨(dú)立性和條件獨(dú)立性
7.6貝葉斯網(wǎng)絡(luò)
7.7馬爾可夫網(wǎng)絡(luò)
7.7.1條件獨(dú)立性
7.7.2分解性質(zhì)
7.7.3圖像降噪
7.8圖模型中的推斷
7.8.1鏈推斷
7.8.2樹
7.8.3因子圖
7.8.4置信傳播算法
7.8.5一般圖的精確推斷
7.8.6學(xué)習(xí)圖結(jié)構(gòu)
7.9本章小結(jié)
7.10習(xí)題
第8章前饋神經(jīng)網(wǎng)絡(luò)
8.1神經(jīng)元
8.2人工神經(jīng)網(wǎng)絡(luò)
8.3感知機(jī)
8.3.1線性單元
8.3.2感知機(jī)的訓(xùn)練
8.4激活函數(shù)
8.4.1Sigmoid函數(shù)
8.4.2Tanh函數(shù)
8.4.3ReLU函數(shù)
8.4.4Softmax函數(shù)
8.5基于梯度的學(xué)習(xí)
8.5.1前饋神經(jīng)網(wǎng)絡(luò)的基本概念
8.5.2隨機(jī)梯度下降算法
8.6本章小結(jié)
8.7習(xí)題
第9章反向傳播與梯度計(jì)算
9.1風(fēng)險(xiǎn)小化
9.1.1經(jīng)驗(yàn)風(fēng)險(xiǎn)小化
9.1.2結(jié)構(gòu)風(fēng)險(xiǎn)小化
9.2梯度計(jì)算
9.2.1輸出層梯度
9.2.2隱藏層梯度
9.2.3參數(shù)梯度
9.2.4梯度消失和梯度爆炸
9.3反向傳播
9.4本章小結(jié)
9.5習(xí)題
第10章自編碼器
10.1自編碼器概述
10.2欠完備自編碼器
10.3常見的幾種自編碼器
10.3.1降噪自編碼器
10.3.2稀疏自編碼器
10.3.3棧式自編碼器
10.4本章小結(jié)
10.5習(xí)題
第11章玻爾茲曼機(jī)及其相關(guān)模型
11.1玻爾茲曼機(jī)
11.1.1玻爾茲曼機(jī)概述
11.1.2受限玻爾茲曼機(jī)
11.2能量模型
11.2.1能量函數(shù)
11.2.2能量函數(shù)與勢函數(shù)
11.2.3勢函數(shù)與概率分布
11.3近似推斷
11.3.1邊緣分布
11.3.2條件分布
11.4對比散度
11.5本章小結(jié)
11.6習(xí)題
第12章循環(huán)神經(jīng)網(wǎng)絡(luò)
12.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述
12.2語言模型
12.3雙向循環(huán)神經(jīng)網(wǎng)絡(luò)
12.4深度循環(huán)神經(jīng)網(wǎng)絡(luò)
12.5循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
12.5.1前向計(jì)算
12.5.2誤差項(xiàng)的計(jì)算
12.5.3權(quán)重梯度的計(jì)算
12.6循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度爆炸和梯度消失
12.7RNN的應(yīng)用舉例——基于RNN的語言模型
12.7.1向量化
12.7.2Softmax層
12.7.3語言模型的訓(xùn)練
12.8本章小結(jié)
12.9習(xí)題
第13章遞歸神經(jīng)網(wǎng)絡(luò)
13.1遞歸神經(jīng)網(wǎng)絡(luò)概述
13.2遞歸神經(jīng)網(wǎng)絡(luò)的前向計(jì)算
13.3遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
13.3.1誤差項(xiàng)的傳遞
13.3.2權(quán)重梯度的計(jì)算
13.3.3權(quán)重更新
13.4長短期記憶網(wǎng)絡(luò)
13.4.1遺忘門
13.4.2輸入門與輸出門
13.4.3候選門
13.5本章小結(jié)
13.6習(xí)題
第14章卷積神經(jīng)網(wǎng)絡(luò)
14.1卷積運(yùn)算
14.2網(wǎng)絡(luò)結(jié)構(gòu)
14.3卷積層
14.4池化層
14.5輸出值的計(jì)算
14.6池化層輸出值的計(jì)算
14.7本章小結(jié)
14.8習(xí)題