稀疏非平行支持向量機與最優(yōu)化

1.1稀疏學(xué)習2
1.1.1樣本稀疏性2
1.1.2特征稀疏性3
1.2化4
1.2.1問題描述5
1.2.2優(yōu)化算法及其分類5
1.3遺傳算法7
1.3.1基本概念8
1.3.2步驟11
1.3.3基礎(chǔ)理論研究概述12
1.3.4遺傳算法的現(xiàn)狀與展望14
第2章基礎(chǔ)算法15
2.1標準支持向量機(SVM)15
2.2小二乘支持向量機(LSSVM)16
2.3基于Ramp損失的支持向量機(RSVM)18
2.4雙子支持向量機(TWSVM)19
2.4.1線性雙子支持向量機(LTWSVM)20
2.4.2非線性雙子支持向量機(NLTWSVM)21
2.5非平行超平面支持向量機(NPSVM)22
2.6大規(guī)模SVM25
2.7小結(jié)25
第3章稀疏的非平行超平面支持向量機(RNPSVM)26
3.1線性情況26
3.1.1原始問題26
3.1.2對偶問題28
3.2非線性情況34
3.3算法分析34
3.4數(shù)值實驗36
3.5小結(jié)40
第4章NPSVM的統(tǒng)計學(xué)習理論解釋和線性規(guī)劃的NPSVM41
4.1Universum支持向量機(USVM)41
4.2USVM與NPSVM的關(guān)系42
4.3基于線性規(guī)劃的NPSVM44
4.3.1線性規(guī)劃問題44
4.3.2數(shù)值實驗46
4.4基于線性規(guī)劃的RNPSVM47
4.4.1線性規(guī)劃問題48
4.4.2數(shù)值實驗50
4.5小結(jié)50
第5章稀疏的小二乘支持向量機(RLSSVM)51
5.1LSTWSVM和LSSVM的關(guān)系51
5.2基于ε不敏感損失函數(shù)的小二乘支持向量機(εLSSVM)52
5.3基于Ramp損失的小二乘支持向量機(RLSSVM)54
5.3.1原始問題54
5.3.2對偶問題56
5.4算法分析57
5.5數(shù)值實驗58
5.6小結(jié)61
第6章大規(guī)模線性NPSVM和RNPSVM算法62
61交替方向乘子法(ADMM)62
62大規(guī)模線性NPSVM63
6.3大規(guī)模線性RNPSVM65
6.4數(shù)值實驗68
6.4.1小規(guī)模數(shù)據(jù)69
6.4.2大規(guī)模數(shù)據(jù)70
6.5小結(jié)73
第7章全局化74
7.1平滑技術(shù)74
7.2進化算子75
7.2.1平滑函數(shù)的性質(zhì)75
7.2.2基于一維搜索的雜交算子77
7.2.3變異算子78
7.3新的算法78
7.3.1算法78
7.3.2全局收斂性78
7.4數(shù)值模擬80
7.4.1試驗函數(shù)80
7.4.2模擬結(jié)果82
7.5小結(jié)85
第8章非線性約束優(yōu)化86
8.1多目標優(yōu)化87
8.1.1多目標優(yōu)化基本問題87
8.1.2均勻設(shè)計的基本思想 88
8.2基于多目標優(yōu)化問題轉(zhuǎn)化的遺傳算法89
8.2.1多目標優(yōu)化問題的轉(zhuǎn)化89
8.2.2算法190
8.2.3算法293
8.3基于種群分類排隊的約束優(yōu)化遺傳算法98
8.3.1種群分類排隊98
8.3.2遺傳算法99
8.4基于D.S.C.法的進化算法103
8.4.1改進D.S.C.法103
8.4.2遺傳算法104
8.5小結(jié)107
參考文獻109