突圍算法：機(jī)器學(xué)習(xí)算法應(yīng)用

第1章 引言\t1
1．1 人工智能概述\t2
1．1．1 人工智能的分類\t2
1．1．2 人工智能的應(yīng)用\t3
1．2 人工智能與傳統(tǒng)機(jī)器學(xué)習(xí)\t5
1．2．1 人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)\t5
1．2．2 落地的關(guān)鍵因素\t6
1．3 機(jī)器學(xué)習(xí)算法領(lǐng)域發(fā)展綜述\t8
1．3．1 計算機(jī)視覺\t9
1．3．2 自然語言處理\t10
1．3．3 語音識別\t11
1．4 小結(jié)\t13
參考文獻(xiàn)\t13
第2章 數(shù)據(jù)理解\t16
2．1 數(shù)據(jù)的三個基本維度\t17
2．1．1 集中趨勢\t17
2．1．2 離散趨勢\t19
2．1．3 分布形態(tài)\t20
2．2 數(shù)據(jù)的統(tǒng)計推論的基本方法\t22
2．2．1 數(shù)據(jù)抽樣\t22
2．2．2 參數(shù)估計\t24
2．2．3 假設(shè)檢驗\t26
2．3 數(shù)據(jù)分析\t31
2．3．1 基本理念\t31
2．3．2 體系結(jié)構(gòu)\t32
2．3．3 傳統(tǒng)數(shù)據(jù)分析方法與示例\t33
2．3．4 基于數(shù)據(jù)挖掘的數(shù)據(jù)分析方法與示例\t35
2．3．5 工作流程\t38
2．3．6 數(shù)據(jù)分析技巧\t40
2．3．7 數(shù)據(jù)可視化\t43
2．4 小結(jié)\t45
參考文獻(xiàn)\t45
第3章 數(shù)據(jù)處理與特征\t47
3．1 數(shù)據(jù)的基本處理\t48
3．1．1 數(shù)據(jù)預(yù)處理\t48
3．1．2 數(shù)據(jù)清洗中的異常值判定和處理\t49
3．1．3 數(shù)據(jù)清洗中的缺失值填充\t51
3．2 數(shù)據(jù)的特征縮放和特征編碼\t54
3．2．1 特征縮放\t54
3．2．2 特征編碼\t57
3．3 數(shù)據(jù)降維\t58
3．3．1 基本思想與方法\t58
3．3．2 變量選擇\t59
3．3．3 特征提取\t61
3．4 圖像的特征分析\t68
3．4．1 圖像預(yù)處理\t68
3．4．2 傳統(tǒng)圖像特征提取\t74
3．4．3 指紋識別\t77
3．5 小結(jié)\t78
參考文獻(xiàn)\t79
第4章 機(jī)器學(xué)習(xí)基礎(chǔ)\t81
4．1 統(tǒng)計學(xué)習(xí)\t82
4．1．1 統(tǒng)計學(xué)習(xí)概述\t82
4．1．2 一般研發(fā)流程\t83
4．2 機(jī)器學(xué)習(xí)算法分類\t85
4．2．1 體系框架\t85
4．2．2 模型的形式\t88
4．3 機(jī)器學(xué)習(xí)的學(xué)習(xí)規(guī)則\t90
4．3．1 誤差修正學(xué)習(xí)\t90
4．3．2 赫布學(xué)習(xí)規(guī)則\t91
4．3．3 最小均方規(guī)則\t92
4．3．4 競爭學(xué)習(xí)規(guī)則\t93
4．3．5 其他學(xué)習(xí)規(guī)則\t94
4．4 機(jī)器學(xué)習(xí)的基礎(chǔ)應(yīng)用\t95
4．4．1 基于最小二乘法的回歸分析\t95
4．4．2 基于K-Means的聚類分析\t98
4．4．3 基于樸素貝葉斯的分類分析\t101
4．5 小結(jié)\t103
參考文獻(xiàn)\t103
第5章 模型選擇和結(jié)構(gòu)設(shè)計\t105
5．1 傳統(tǒng)機(jī)器學(xué)習(xí)模型選擇\t106
5．1．1 基本原則\t106
5．1．2 經(jīng)典模型\t107
5．2 經(jīng)典回歸模型的理解和選擇\t108
5．2．1 邏輯回歸\t108
5．2．2 多項式回歸\t109
5．2．3 各類回歸模型的簡單對比\t112
5．3 經(jīng)典分類模型的理解和選擇\t113
5．3．1 K近鄰算法\t113
5．3．2 支持向量機(jī)\t114
5．3．3 多層感知器\t115
5．3．4 AdaBoost算法\t117
5．3．5 各類分類算法的簡單對比\t118
5．4 經(jīng)典聚類模型的理解和選擇\t120
5．4．1 基于劃分的聚類\t120
5．4．2 基于層次的聚類\t122
5．4．3 基于密度的聚類\t126
5．4．4 基于網(wǎng)格的聚類\t131
5．4．5 聚類算法的簡單對比\t131
5．5 深度學(xué)習(xí)模型選擇\t132
5．5．1 分類問題模型\t132
5．5．2 聚類問題模型\t138
5．5．3 回歸預(yù)測模型\t139
5．5．4 各類深度學(xué)習(xí)模型的簡單對比\t140
5．6 深度學(xué)習(xí)模型結(jié)構(gòu)的設(shè)計方向\t141
5．6．1 基于深度的設(shè)計\t141
5．6．2 基于升維或降維的設(shè)計\t144
5．6．3 基于寬度和多尺度的設(shè)計\t145
5．7 模型結(jié)構(gòu)設(shè)計中的簡單技巧\t146
5．7．1 激活函數(shù)的選擇\t146
5．7．2 隱藏神經(jīng)元的估算\t147
5．7．3 卷積核串聯(lián)使用\t148
5．7．4 利用Dropout提升性能\t149
5．8 小結(jié)\t150
參考文獻(xiàn)\t151
第6章 目標(biāo)函數(shù)設(shè)計\t154
6．1 損失函數(shù)\t155
6．1．1 一般簡單損失函數(shù)\t155
6．1．2 圖像分類場景經(jīng)典損失函數(shù)\t156
6．1．3 目標(biāo)檢測中的經(jīng)典損失函數(shù)\t158
6．1．4 圖像分割中的經(jīng)典損失函數(shù)\t159
6．1．5 對比場景中的經(jīng)典損失函數(shù)\t161
6．2 風(fēng)險最小化和設(shè)計原則\t165
6．2．1 期望風(fēng)險、經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險\t165
6．2．2 目標(biāo)函數(shù)的設(shè)計原則\t166
6．3 基于梯度下降法的目標(biāo)函數(shù)優(yōu)化\t167
6．3．1 理論基礎(chǔ)\t167
6．3．2 常見的梯度下降法\t169
6．3．3 改進(jìn)方法\t169
6．4 基于牛頓法的目標(biāo)求解\t173
6．4．1 基本原理\t173
6．4．2 牛頓法的計算步驟\t174
6．5 小結(jié)\t175
參考文獻(xiàn)\t176
第7章 模型訓(xùn)練過程設(shè)計\t178
7．1 數(shù)據(jù)選擇\t179
7．1．1 數(shù)據(jù)集篩選\t179
7．1．2 難例挖掘\t180
7．1．3 數(shù)據(jù)增強(qiáng)\t181
7．2 參數(shù)初始化\t183
7．2．1 避免全零初始化\t183
7．2．2 隨機(jī)初始化\t184
7．3 擬合的驗證與判斷\t185
7．3．1 過擬合的模型參數(shù)\t185
7．3．2 不同算法場景中的欠擬合和過擬合\t187
7．4 學(xué)習(xí)速率的選擇\t188
7．4．1 學(xué)習(xí)速率的一般觀測方法\t188
7．4．2 學(xué)習(xí)速率與批處理大小的關(guān)系\t189
7．5 遷移學(xué)習(xí)\t189
7．5．1 概念與基本方法\t189
7．5．2 應(yīng)用示例：基于VGG-16的遷移思路\t190
7．6 分布式訓(xùn)練\t191
7．6．1 數(shù)據(jù)并行\(zhòng)t191
7．6．2 模型并行\(zhòng)t193
7．7 小結(jié)\t194
參考文獻(xiàn)\t194
第8章 模型效果的評估與驗證\t196
8．1 模型效果評估的一般性指標(biāo)\t197
8．1．1 分類算法的效果評估\t197
8．1．2 聚類算法的效果評估\t201
8．1．3 回歸算法的效果評估\t205
8．1．4 不同應(yīng)用場景下的效果評估\t206
8．2 交叉驗證\t208
8．2．1 基本思想\t208
8．2．2 不同的交叉驗證方法\t209
8．3 模型的穩(wěn)定性分析\t210
8．3．1 計算的穩(wěn)定性\t210
8．3．2 數(shù)據(jù)的穩(wěn)定性\t211
8．3．3 模型性能\t212
8．4 小結(jié)\t213
參考文獻(xiàn)\t213
第9章 計算性能與模型加速\t215
9．1 計算優(yōu)化\t216
9．1．1 問題與挑戰(zhàn)\t216
9．1．2 設(shè)備與推斷計算\t216
9．2 性能指標(biāo)\t217
9．2．1 計算平臺的重要指標(biāo)：算力和帶寬\t217
9．2．2 模型的兩個重要指標(biāo)：計算量和訪存量\t218
9．3 模型壓縮與裁剪\t219
9．3．1 問題背景\t219
9．3．2 基本思路和方法\t220
9．4 小結(jié)\t221
參考文獻(xiàn)\t221
第10章 應(yīng)用案例專題\t223
10．1 求解二元一次方程\t224
10．1．1 問題分析\t224
10．1．2 模型設(shè)計\t225
10．2 鳶尾花的案例分析\t226
10．2．1 數(shù)據(jù)說明\t226
10．2．2 數(shù)據(jù)理解和可視化\t227
10．2．3 數(shù)據(jù)特征的降維\t230
10．2．4 數(shù)據(jù)分類\t231
10．2．5 數(shù)據(jù)聚類\t235
10．3 形體識別\t237
10．3．1 問題定義\t237
10．3．2 應(yīng)用形式\t239
10．3．3 數(shù)據(jù)準(zhǔn)備與處理\t241
10．3．4 技術(shù)方案與模型設(shè)計\t243
10．3．5 改進(jìn)思考\t245
10．4 小結(jié)\t246
參考文獻(xiàn)\t246