數(shù)據(jù)挖掘競賽實(shí)戰(zhàn)：方法與案例

第1章  數(shù)據(jù)挖掘競賽介紹 1
1.1  數(shù)據(jù)挖掘競賽的發(fā)展 1
1.2  數(shù)據(jù)挖掘競賽的意義 4
1.3　競賽平臺(tái)介紹 5
1.4  各種競賽的特點(diǎn) 8
1.5  競賽常用工具 9
第2章  結(jié)構(gòu)化數(shù)據(jù)：理論篇 13
2.1  探索性數(shù)據(jù)分析 13
2.2  數(shù)據(jù)預(yù)處理 18
2.2.1  缺失值 18
2.2.2  異常值 20
2.2.3  內(nèi)存優(yōu)化 21
2.3  特征構(gòu)造 23
2.3.1  時(shí)間特征 23
2.3.2  單變量特征 25
2.3.3  組合特征 27
2.3.4  降維/聚類特征 28
2.3.5  目標(biāo)值相關(guān)特征 30
2.3.6  拼表特征 33
2.3.7  時(shí)序特征 39
2.4  特征篩選 41
2.4.1  冗余特征過濾 41
2.4.2  無效/低效特征過濾 42
2.4.3  過擬合特征過濾 45
2.5  模型 49
2.5.1  結(jié)構(gòu)化數(shù)據(jù)常用模型 49
2.5.2  模型超參數(shù)優(yōu)化 55
2.5.3  線下驗(yàn)證 58
2.6  集成學(xué)習(xí) 62
2.6.1  投票法 62
2.6.2  平均法 63
2.6.3  加權(quán)平均法 64
2.6.4  Stacking 66
2.6.5  Blending 67
第3章  結(jié)構(gòu)化數(shù)據(jù)：實(shí)戰(zhàn)篇 70
3.1  賽題概覽 70
3.2  數(shù)據(jù)探索 71
3.2.1  標(biāo)簽分布 71
3.2.2  缺失值 72
3.2.3  異常值 73
3.2.4  相關(guān)性 73
3.3  優(yōu)秀方案解讀 74
3.3.1  特征工程 75
3.3.2  模型 77
3.3.3  集成學(xué)習(xí) 80
第4章  自然語言處理：理論篇 82
4.1  探索性數(shù)據(jù)分析 84
4.1.1  文本詞數(shù)統(tǒng)計(jì) 84
4.1.2  高頻詞統(tǒng)計(jì) 85
4.2  數(shù)據(jù)預(yù)處理 86
4.3  數(shù)據(jù)增強(qiáng) 88
4.3.1  同義詞替換 88
4.3.2  回譯 89
4.3.3  文本生成 89
4.3.4  元偽標(biāo)簽 90
4.4  模型 91
4.4.1  NLP競賽的萬金油—BERT 91
4.4.2  常用模型backbone及其特點(diǎn) 93
4.4.3  設(shè)計(jì)BERT類模型的輸入 95
4.4.4  設(shè)計(jì)BERT類模型的neck 98
4.4.5　設(shè)計(jì)BERT類模型的輸出 100
4.5  模型集成 103
4.6  訓(xùn)練技巧 103
4.6.1  動(dòng)態(tài)驗(yàn)證 104
4.6.2  分層學(xué)習(xí)率 106
4.6.3  對(duì)抗訓(xùn)練 108
4.6.4  使用特殊詞處理復(fù)雜信息 111
4.6.5  任務(wù)內(nèi)掩碼語言建模 113
4.6.6  多樣本dropout 114
4.6.7  模型權(quán)重初始化 116
4.6.8  動(dòng)態(tài)填充 117
4.6.9  根據(jù)文本詞數(shù)順序推理 118
4.6.10  梯度檢查點(diǎn) 119
4.6.11  拓展模型輸入長度限制 120
第5章  自然語言處理：實(shí)戰(zhàn)篇 121
5.1  賽題背景 121
5.2  數(shù)據(jù)介紹 122
5.3  評(píng)價(jià)指標(biāo) 123
5.4  冠軍方案 124
5.4.1　解碼網(wǎng)絡(luò) 125
5.4.2  特征抽取網(wǎng)絡(luò) 127
5.4.3  掩碼預(yù)訓(xùn)練 127
5.4.4  訓(xùn)練技巧 128
5.4.5  模型集成 131
第6章  計(jì)算機(jī)視覺（圖像）：理論篇 134
6.1  通用流程 135
6.1.1  數(shù)據(jù)預(yù)處理 135
6.1.2  數(shù)據(jù)增強(qiáng) 136
6.1.3  預(yù)訓(xùn)練 141
6.1.4  模型 142
6.1.5  損失函數(shù) 143
6.1.6  集成學(xué)習(xí) 143
6.1.7  通用技巧 143
6.2  分類任務(wù) 147
6.2.1  任務(wù)介紹及常用模型 147
6.2.2  損失函數(shù) 148
6.2.3  常用技巧 149
6.3  分割任務(wù) 150
6.3.1  任務(wù)介紹及常用模型 150
6.3.2  損失函數(shù) 151
6.3.3  常用技巧 152
6.4  檢測任務(wù) 154
6.4.1  任務(wù)介紹及常用模型 154
6.4.2  損失函數(shù) 155
6.4.3  常用技巧 161
第7章  計(jì)算機(jī)視覺（圖像）：實(shí)戰(zhàn)篇 165
7.1  競賽介紹 165
7.2  數(shù)據(jù)探索 166
7.2.1  數(shù)據(jù)基本情況 167
7.2.2  類型分布 167
7.2.3  圖像分布 168
7.2.4  標(biāo)注分布 170
7.3  優(yōu)秀方案解讀 170
7.3.1  檢測部分 171
7.3.2  分割部分 175
7.4  更多方案 180
第8章  計(jì)算機(jī)視覺（視頻）：理論篇 182
8.1  視頻數(shù)據(jù)與圖像數(shù)據(jù)的區(qū)別 182
8.2  常用模型 185
8.3  預(yù)訓(xùn)練數(shù)據(jù)集 188
8.4  任務(wù)介紹 189
第9章  計(jì)算機(jī)視覺（視頻）：實(shí)戰(zhàn)篇 192
9.1  賽題背景 192
9.2  數(shù)據(jù)介紹和評(píng)價(jià)指標(biāo) 192
9.3  冠軍方案 193
第10章  強(qiáng)化學(xué)習(xí)：理論篇 200
10.1  智能體設(shè)計(jì) 201
10.1.1  觀測輸入設(shè)計(jì) 201
10.1.2  收益設(shè)計(jì) 204
10.1.3  動(dòng)作設(shè)計(jì) 205
10.2  模型設(shè)計(jì) 206
10.3　算法設(shè)計(jì) 207
10.3.1  強(qiáng)化學(xué)習(xí)算法 207
10.3.2  超參數(shù)調(diào)節(jié) 208
10.3.3  訓(xùn)練技巧 210
10.3.4  算法性能評(píng)估 211
第11章  強(qiáng)化學(xué)習(xí)：實(shí)戰(zhàn)篇 212
11.1  賽題任務(wù) 212
11.2  環(huán)境介紹 213
11.3  評(píng)價(jià)指標(biāo) 213
11.4  冠軍方案 214