推薦系統(tǒng)算法實(shí)踐

目 錄
第1部分 推薦系統(tǒng)的算法基礎(chǔ)
第1章 數(shù)學(xué)基礎(chǔ)\t2
1．1 線性代數(shù)\t2
1．2 概率與統(tǒng)計(jì)\t5
1．3 損失函數(shù)\t7
1．4 優(yōu)化方法\t8
1．4．1 SGD\t8
1．4．2 動(dòng)量\t8
1．4．3 Nesterov動(dòng)量\t9
1．4．4 AdaGrad\t9
1．4．5 Adam\t10
1．4．6 L-BFGS\t10
1．4．7 梯度法和牛頓法的比較\t11
1．5 評(píng)價(jià)方法\t11
1．5．1 混淆矩陣\t11
1．5．2 ROC曲線\t13
第2章 推薦系統(tǒng)介紹\t17
2．1 推薦系統(tǒng)背景\t17
2．2 推薦系統(tǒng)的典型案例\t18
2．2．1 Amazon推薦\t19
2．2．2 Facebook推薦\t21
2．2．3 YouTube推薦\t22
2．3 推薦系統(tǒng)原理\t23
第3章 推薦算法工具\(yùn)t26
3．1 Python Sklearn機(jī)器學(xué)習(xí)庫(kù)\t26
3．1．1 Sklearn介紹\t26
3．1．2 Sklearn建模流程\t27
3．2 Spark MLlib機(jī)器學(xué)習(xí)庫(kù)\t28
3．2．1 MLlib介紹\t28
3．2．2 MLlib建模流程\t29
3．3 TensorFlow\t31
3．3．1 TensorFlow介紹\t31
3．3．2 TensorFlow建模流程\t31
3．4 Notebook介紹\t32
3．4．1 Zeppelin Notebook介紹\t32
3．4．2 Jupyter Notebook介紹\t36
第2部分 推薦系統(tǒng)的召回算法
第4章 協(xié)同過濾――基于行為相似的召回\t40
4．1 協(xié)同過濾算法\t40
4．1．1 協(xié)同過濾推薦概述\t40
4．1．2 用戶評(píng)分\t41
4．1．3 相似度計(jì)算\t41
4．1．4 推薦計(jì)算\t43
4．2 協(xié)同過濾推薦算法實(shí)現(xiàn)\t44
4．2．1 相似度計(jì)算及推薦計(jì)算\t47
4．2．2 協(xié)同推薦\t54
4．2．3 運(yùn)行結(jié)果\t59
第5章 Word2vec――基于內(nèi)容相似的召回\t65
5．1 Word2vec算法\t65
5．1．1 語(yǔ)言模型\t65
5．1．2 CBOW One-Word Context模型\t66
5．1．3 CBOW Multi-Word Context 模型\t71
5．1．4 Skip-Gram模型\t72
5．1．5 Hierarchical Softmax\t74
5．1．6 Negative Sampling\t74
5．2 Word2vec實(shí)例\t75
5．2．1 Spark實(shí)現(xiàn)\t75
5．2．2 TensorFlow實(shí)現(xiàn)\t80
第3部分 推薦系統(tǒng)的排序算法――線性模型
第6章 邏輯回歸\t86
6．1 邏輯回歸算法\t86
6．1．1 二元邏輯回歸模型\t86
6．1．2 模型參數(shù)估計(jì)\t88
6．1．3 多元邏輯回歸模型（Softmax回歸）\t88
6．1．4 邏輯回歸的網(wǎng)絡(luò)結(jié)構(gòu)\t89
6．1．5 梯度下降算法\t90
6．1．6 正則化\t91
6．2 邏輯回歸實(shí)現(xiàn)\t93
6．2．1 Sklearn實(shí)現(xiàn)\t93
6．2．2 Spark實(shí)現(xiàn)\t98
6．2．3 TensorFlow實(shí)現(xiàn)\t108
6．2．4 效果總結(jié)\t114
第7章 因子分解機(jī)（FM）\t115
7．1 FM算法\t115
7．1．1 FM模型\t115
7．1．2 FFM模型\t118
7．1．3 FM模型的網(wǎng)絡(luò)結(jié)構(gòu)\t119
7．2 FM實(shí)現(xiàn)\t120
7．2．1 Sklearn實(shí)現(xiàn)\t120
7．2．2 TensorFlow實(shí)現(xiàn)\t122
7．2．3 效果總結(jié)\t128
第4部分 推薦系統(tǒng)的排序算法――樹模型
第8章 決策樹\t130
8．1 決策樹算法\t130
8．1．1 決策樹模型\t130
8．1．2 特征選擇\t131
8．1．3 決策樹的生成\t133
8．1．4 決策樹的生成實(shí)例\t134
8．1．5 決策樹的剪枝\t135
8．2 決策樹的集成算法\t136
8．2．1 集成分類器\t136
8．2．2 隨機(jī)森林\t137
8．2．3 GBDT\t137
8．3 決策樹集成算法實(shí)例\t139
8．3．1 Spark實(shí)現(xiàn)\t139
8．3．2 Sklearn實(shí)現(xiàn)\t149
8．3．3 效果總結(jié)\t154
第9章 集成學(xué)習(xí)\t155
9．1 GBDT+LR算法\t155
9．1．1 背景\t155
9．1．2 GBDT+LR網(wǎng)絡(luò)結(jié)構(gòu)\t156
9．2 深度森林算法\t159
9．2．1 深度森林介紹\t159
9．2．2 級(jí)聯(lián)森林\t160
9．2．3 多粒度掃描\t161
9．3 決策樹集成分類器\t162
9．4 集成學(xué)習(xí)實(shí)例\t164
9．4．1 GBDT+LR實(shí)現(xiàn)\t164
9．4．2 深度森林實(shí)現(xiàn)\t167
9．4．3 效果總結(jié)\t175
第5部分 推薦系統(tǒng)的排序算法――深度學(xué)習(xí)模型
第10章 深度學(xué)習(xí)在推薦算法中的應(yīng)用\t178
10．1 推薦模型的特點(diǎn)\t178
10．2 基于深度學(xué)習(xí)的推薦模型\t179
10．2．1 DNN優(yōu)化高階特征\t179
10．2．2 高階特征交叉與低階特征交叉\t181
10．2．3 特征交叉優(yōu)化\t183
10．2．4 特征連接優(yōu)化\t184
10．2．5 高階特征交叉優(yōu)化\t185
10．2．6 多樣性的深度興趣特征優(yōu)化\t186
第11章 DNN算法\t189
11．1 人工神經(jīng)網(wǎng)絡(luò)算法\t189
11．1．1 神經(jīng)元\t189
11．1．2 神經(jīng)網(wǎng)絡(luò)模型\t191
11．1．3 信號(hào)的前向傳播\t191
11．1．4 誤差的反向傳播\t193
11．2 DNN優(yōu)化方法\t195
11．2．1 優(yōu)化參數(shù)\t196
11．2．2 Attention機(jī)制\t197
11．3 DNN實(shí)例\t198
11．4 運(yùn)行結(jié)果\t205
第12章 Wide ＆ Deep模型\t206
12．1 Wide ＆ Deep模型概述\t206
12．1．1 Wide模型\t208
12．1．2 Deep模型\t209
12．1．3 模型聯(lián)合訓(xùn)練\t210
12．2 Wide ＆ Deep系統(tǒng)實(shí)現(xiàn)\t211
12．2．1 推薦系統(tǒng)介紹\t211
12．2．2 系統(tǒng)流程\t212
12．2．3 訓(xùn)練數(shù)據(jù)的生成\t213
12．2．4 模型訓(xùn)練\t213
12．2．5 線上應(yīng)用\t214
12．3 Wide ＆ Deep實(shí)例\t214
12．4 運(yùn)行結(jié)果\t219
第13章 DeepFM模型\t225
13．1 DeepFM模型概述\t225
13．1．1 FM組件\t226
13．1．2 Deep組件\t228
13．1．3 模型對(duì)比\t229
13．2 DeepFM模型實(shí)例\t231
13．3 運(yùn)行結(jié)果\t241
第14章 YouTube的深度神經(jīng)網(wǎng)絡(luò)模型\t243
14．1 YouTube推薦模型\t243
14．1．1 背景介紹\t243
14．1．2 召回模型設(shè)計(jì)\t245
14．1．3 排序模型設(shè)計(jì)\t250
14．2 YouTube實(shí)例\t252
14．3 運(yùn)行結(jié)果\t256
第6部分 推薦系統(tǒng)的算法實(shí)踐
第15章 實(shí)踐――基于電商平臺(tái)的商品召回\t260
15．1 背景介紹\t260
15．2 模型選擇\t261
15．3 算法開發(fā)\t261
第16章 實(shí)踐――基于邏輯回歸的音樂評(píng)分預(yù)測(cè)\t266
16．1 背景介紹\t266
16．2 數(shù)據(jù)準(zhǔn)備\t266
16．3 特征處理\t268
16．4 模型選擇\t270
16．5 算法開發(fā)\t271
第17章 實(shí)踐――Kaggle競(jìng)賽之Outbrain點(diǎn)擊率預(yù)估\t275
17．1 背景介紹\t275
17．2 數(shù)據(jù)準(zhǔn)備\t277
17．3 特征處理\t283
17．4 模型選擇\t284
17．4．1 FFM\t285
17．4．2 XGBoost\t288
17．4．3 集成學(xué)習(xí)\t292
17．5 算法開發(fā)\t292
第18章 實(shí)踐――基于深度學(xué)習(xí)的電商商品點(diǎn)擊率預(yù)估\t297
18．1 背景介紹\t297
18．2 數(shù)據(jù)準(zhǔn)備\t298
18．3 特征處理\t302
18．4 模型選擇\t303
18．5 算法開發(fā)\t304
18．6 運(yùn)行結(jié)果\t309
第19章 Notebook實(shí)踐\t312
19．1 Sklearn中的LR實(shí)踐\t312
19．2 TensorFlow中的LR實(shí)踐\t316
19．3 Spark中的LR實(shí)踐\t321
19．4 TensorFlow中的FM調(diào)試實(shí)踐\t327
19．5 Spark中的協(xié)同過濾調(diào)試實(shí)踐\t331