跟我一起學(xué)機(jī)器學(xué)習(xí)

第1章環(huán)境配置

1.1安裝Conda

1.1.1Windows環(huán)境

1.1.2Linux環(huán)境

1.2替換源

1.3Conda環(huán)境管理

1.3.1虛擬環(huán)境安裝

1.3.2虛擬環(huán)境使用

1.4PyCharm安裝與配置

1.5小結(jié)

第2章線性回歸

2.1模型的建立與求解

2.1.1理解線性回歸模型

2.1.2建立線性回歸模型

2.1.3求解線性回歸模型

2.1.4sklearn簡(jiǎn)介

2.1.5安裝sklearn及其他庫(kù)

2.1.6線性回歸示例代碼

2.1.7小結(jié)

2.2多變量線性回歸

2.2.1理解多變量

2.2.2多變量線性回歸建模

2.2.3多變量回歸示例代碼

2.3多項(xiàng)式回歸

2.3.1理解多項(xiàng)式

2.3.2多項(xiàng)式回歸建模

2.3.3多項(xiàng)式回歸示例代碼

2.3.4小結(jié)

2.4回歸模型評(píng)估

2.4.1常見(jiàn)回歸評(píng)估指標(biāo)

2.4.2回歸指標(biāo)示例代碼

2.4.3小結(jié)

2.5梯度下降

2.5.1方向?qū)?shù)與梯度

2.5.2梯度下降算法

2.5.3小結(jié)

2.6正態(tài)分布

2.6.1一個(gè)問(wèn)題的出現(xiàn)

2.6.2正態(tài)分布

2.7目標(biāo)函數(shù)推導(dǎo)

2.7.1目標(biāo)函數(shù)

2.7.2求解梯度

2.7.3矢量化計(jì)算

2.7.4從零實(shí)現(xiàn)線性回歸

2.7.5小結(jié)





第3章邏輯回歸

3.1模型的建立與求解

3.1.1理解邏輯回歸模型

3.1.2建立邏輯回歸模型

3.1.3求解邏輯回歸模型

3.1.4邏輯回歸示例代碼

3.1.5小結(jié)

3.2多變量與多分類

3.2.1多變量邏輯回歸

3.2.2多分類邏輯回歸

3.2.3多分類示例代碼

3.2.4小結(jié)

3.3常見(jiàn)的分類評(píng)估指標(biāo)

3.3.1二分類場(chǎng)景

3.3.2二分類指標(biāo)示例代碼

3.3.3多分類場(chǎng)景

3.3.4多分類指標(biāo)示例代碼

3.3.5小結(jié)

3.4目標(biāo)函數(shù)推導(dǎo)

3.4.1映射函數(shù)

3.4.2概率表示

3.4.3極大似然估計(jì)

3.4.4求解梯度

3.4.5從零實(shí)現(xiàn)二分類邏輯回歸

3.4.6從零實(shí)現(xiàn)多分類邏輯回歸

3.4.7小結(jié)

第4章模型的改善與泛化

4.1基本概念

4.2特征標(biāo)準(zhǔn)化

4.2.1等高線

4.2.2梯度與等高線

4.2.3標(biāo)準(zhǔn)化方法

4.2.4特征組合與映射

4.2.5小結(jié)

4.3過(guò)擬合

4.3.1模型擬合

4.3.2過(guò)擬合與欠擬合

4.3.3解決欠擬合與過(guò)擬合問(wèn)題

4.3.4小結(jié)

4.4正則化

4.4.1測(cè)試集導(dǎo)致糟糕的泛化誤差

4.4.2訓(xùn)練集導(dǎo)致糟糕的泛化誤差

4.4.3正則化中的參數(shù)更新

4.4.4正則化示例代碼

4.4.5小結(jié)

4.5偏差、方差與交叉驗(yàn)證

4.5.1偏差與方差定義

4.5.2模型的偏差與方差

4.5.3超參數(shù)選擇

4.5.4模型選擇

4.5.5小結(jié)

4.6實(shí)例分析手寫體識(shí)別

4.6.1數(shù)據(jù)預(yù)處理

4.6.2模型選擇

4.6.3模型測(cè)試

4.6.4小結(jié)

第5章K近鄰

5.1K近鄰思想

5.2K近鄰原理

5.2.1算法原理

5.2.2K值選擇

5.2.3距離度量

5.3sklearn接口與示例代碼

5.3.1sklearn接口介紹

5.3.2K近鄰示例代碼

5.3.3小結(jié)

5.4kd樹(shù)

5.4.1構(gòu)造kd樹(shù)

5.4.2最近鄰kd樹(shù)搜索

5.4.3最近鄰搜索示例

5.4.4K近鄰kd樹(shù)搜索

5.4.5K近鄰搜索示例

5.4.6小結(jié)

第6章樸素貝葉斯

6.1樸素貝葉斯算法

6.1.1概念介紹

6.1.2理解樸素貝葉斯

6.1.3計(jì)算示例

6.1.4求解步驟

6.1.5小結(jié)

6.2貝葉斯估計(jì)

6.2.1平滑處理

6.2.2計(jì)算示例

6.2.3小結(jié)

第7章文本特征提取與模型復(fù)用

7.1詞袋模型

7.1.1理解詞袋模型

7.1.2文本分詞

7.1.3構(gòu)造詞表

7.1.4文本向量化

7.1.5考慮詞頻的文本向量化

7.1.6小結(jié)

7.2基于貝葉斯算法的垃圾郵件分類

7.2.1載入原始文本

7.2.2制作數(shù)據(jù)集

7.2.3訓(xùn)練模型

7.2.4復(fù)用模型

7.2.5小結(jié)

7.3考慮權(quán)重的詞袋模型

7.3.1理解TFIDF

7.3.2TFIDF計(jì)算原理

7.3.3TFIDF計(jì)算示例

7.3.4TFIDF示例代碼

7.3.5小結(jié)

7.4詞云圖

7.4.1生成詞云圖

7.4.2自定義樣式

7.4.3小結(jié)

第8章決策樹(shù)與集成學(xué)習(xí)

8.1決策樹(shù)的基本思想

8.1.1冠軍球隊(duì)

8.1.2信息的度量

8.1.3小結(jié)

8.2決策樹(shù)的生成之ID3與C4.5

8.2.1基本概念與定義

8.2.2計(jì)算示例

8.2.3ID3生成算法

8.2.4C4.5生成算法

8.2.5特征劃分

8.2.6小結(jié)

8.3決策樹(shù)生成與可視化

8.3.1ID3算法示例代碼

8.3.2決策樹(shù)可視化

8.3.3小結(jié)

8.4決策樹(shù)剪枝

8.4.1剪枝思想

8.4.2剪枝步驟

8.4.3剪枝示例

8.4.4小結(jié)

8.5CART生成與剪枝算法

8.5.1CART算法

8.5.2分類樹(shù)生成算法

8.5.3分類樹(shù)生成示例

8.5.4分類樹(shù)剪枝步驟

8.5.5分類樹(shù)剪枝示例

8.5.6小結(jié)

8.6集成學(xué)習(xí)

8.6.1集成學(xué)習(xí)思想

8.6.2集成學(xué)習(xí)種類

8.6.3Bagging集成學(xué)習(xí)

8.6.4Boosting集成學(xué)習(xí)

8.6.5Stacking集成學(xué)習(xí)

8.6.6小結(jié)

8.7隨機(jī)森林

8.7.1隨機(jī)森林原理

8.7.2隨機(jī)森林示例代碼

8.7.3特征重要性評(píng)估

8.7.4小結(jié)

8.8泰坦尼克號(hào)生還預(yù)測(cè)

8.8.1讀取數(shù)據(jù)集

8.8.2特征選擇

8.8.3缺失值填充

8.8.4特征值轉(zhuǎn)換

8.8.5乘客生還預(yù)測(cè)

8.8.6小結(jié)

第9章支持向量機(jī)

9.1SVM思想

9.2SVM原理

9.2.1超平面的表達(dá)

9.2.2函數(shù)間隔

9.2.3幾何間隔

9.2.4最大間隔分類器

9.2.5函數(shù)間隔的性質(zhì)

9.2.6小結(jié)

9.3SVM示例代碼與線性不可分

9.3.1線性SVM示例代碼

9.3.2從線性不可分談起

9.3.3將低維特征映射到高維空間

9.3.4SVM中的核技巧

9.3.5從高維到無(wú)窮維

9.3.6常見(jiàn)核函數(shù)

9.3.7小結(jié)

9.4SVM中的軟間隔

9.4.1軟間隔定義

9.4.2最大化軟間隔

9.4.3SVM軟間隔示例代碼

9.4.4小結(jié)

9.5拉格朗日乘數(shù)法

9.5.1條件極值

9.5.2求解條件極值

9.5.3小結(jié)

9.6對(duì)偶性與KKT條件

9.6.1廣義拉格朗日乘數(shù)法

9.6.2原始優(yōu)化問(wèn)題

9.6.3對(duì)偶優(yōu)化問(wèn)題

9.6.4KKT條件

9.6.5計(jì)算示例

9.6.6小結(jié)

9.7SVM優(yōu)化問(wèn)題

9.7.1構(gòu)造硬間隔廣義拉格朗日函數(shù)

9.7.2硬間隔求解計(jì)算示例

9.7.3構(gòu)造軟間隔廣義拉格朗日函數(shù)

9.7.4軟間隔中的支持向量

9.7.5小結(jié)

9.8SMO算法

9.8.1坐標(biāo)上升算法

9.8.2SMO算法思想

9.8.3SMO算法原理

9.8.4偏置b求解

9.8.5SVM算法求解示例

9.8.6小結(jié)

第10章聚類

10.1聚類算法的思想

10.2kmeans聚類算法

10.2.1算法原理

10.2.2k值選取

10.2.3kmeans聚類示例代碼

10.2.4小結(jié)

10.3kmeans算法求解

10.3.1kmeans算法目標(biāo)函數(shù)

10.3.2求解簇中心矩陣Z

10.3.3求解簇分配矩陣U

10.3.4小結(jié)

10.4從零實(shí)現(xiàn)kmeans聚類算法

10.4.1隨機(jī)初始化簇中心

10.4.2簇分配矩陣實(shí)現(xiàn)

10.4.3簇中心矩陣實(shí)現(xiàn)

10.4.4聚類算法實(shí)現(xiàn)

10.4.5小結(jié)

10.5kmeans++聚類算法

10.5.1算法原理

10.5.2計(jì)算示例

10.5.3從零實(shí)現(xiàn)kmeans++聚類算法

10.5.4小結(jié)

10.6聚類評(píng)估指標(biāo)

10.6.1聚類純度

10.6.2蘭德系數(shù)與F值

10.6.3調(diào)整蘭德系數(shù)

10.6.4聚類指標(biāo)示例代碼

10.6.5小結(jié)

10.7加權(quán)kmeans聚類算法

10.7.1引例

10.7.2加權(quán)kmeans聚類算法思想

10.7.3加權(quán)kmeans聚類算法原理

10.7.4加權(quán)kmeans聚類算法迭代公式

10.7.5從零實(shí)現(xiàn)加權(quán)kmeans聚類算法

10.7.6參數(shù)求解

10.7.7小結(jié)