模式識別及MATLAB實現(xiàn)：學習與實驗指導

第 1 章貝葉斯決策 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1
1．1 知識要點 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1
1．2 實驗指導 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 7
1．2．1 基于最小錯誤率的貝葉斯決策 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 7
1．2．2 最小風險判決規(guī)則 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 12
1．2．3 最大似然比判決規(guī)則 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 16
1．2．4 Neyman-Pearsen 判決 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 21
第2 章參數(shù)估計 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 25
2．1 知識要點 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 25
2．2 實驗指導 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 30
2．2．1 最大似然估計 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 30
2．2．2 貝葉斯估計 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 33
2．2．3 Parzen 窗 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 36
2．2．4 N k 近鄰估計法 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 38
第3 章非參數(shù)判別分類法 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 41
3．1 知識要點 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 41
3．2 實驗指導 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 44
3．2．1 兩分法 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 44
3．2．2 兩分法的設計 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 47
3．2．3 沒有不確定區(qū)域的兩分法 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 52
3．2．4 廣義線性判別函數(shù)的設計與實現(xiàn) ?????????????????????????????????????????????????????????????????????????????????????????????????????????? 56
3．2．5 感知器算法的設計/實現(xiàn) ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 58
3．2．6 兩類問題Fisher 準則 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 62
3．2．7 基于距離的分段線性判別函數(shù) ???????????????????????????????????????????????????????????????????????????????????????????????????????????????? 68
3．2．8 支持向量機 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 74
第4 章聚類分析法 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 80
4．1 知識要點 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 81
4．2 實驗指導 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 84
4．2．1 距離測度 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 84
4．2．2 相似測度算法 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 90
4．2．3 基于匹配測度算法的實現(xiàn) ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 98
4．2．4 基于類間距離測度方法 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 103
4．2．5 聚類函數(shù)準則 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 106
4．2．6 基于最近鄰規(guī)則的聚類算法 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 108
4．2．7 基于最大最小距離聚類算法的實現(xiàn) ?????????????????????????????????????????????????????????????????????????????????????????????????? 113
4．2．8 基于K-均值聚類算法實驗 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 116
第5 章特征提取與選擇 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 124
5．1 知識要點 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 124
5．2 實驗指導 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 128
5．2．1 基于距離的可分性判據(jù) ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 128
5．2．2 圖像的傅里葉變換二（旋轉性質(zhì)） ?????????????????????????????????????????????????????????????????????????????????????????????????? 130
5．2．3 基于熵函數(shù)的可分性判據(jù) ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 134
5．2．4 利用類均值向量提取特征 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 136
5．2．5 基于類平均向量中判別信息的最優(yōu)壓縮的實現(xiàn) ???????????????????????????????????????????????????????????????????? 141
5．2．6 增添特征法 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 144
5．2．7 剔減特征法 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 148
5．2．8 增l 減r（算法）的設計/實現(xiàn) ???????????????????????????????????????????????????????????????????????????????????????????????????????????????? 151
5．2．9 分支定界法（BAB 算法） ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 156
第6 章模糊模式識別 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 161
6．1 知識要點 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 161
6．2 實驗指導 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 163
6．2．1 最大隸屬度識別法 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 163
6．2．2 擇近原則識別法 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 167
6．2．3 基于模糊等價關系的聚類算法研究 ?????????????????????????????????????????????????????????????????????????????????????????????????? 170
第7 章數(shù)字圖像處理的基礎 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 179
7．1 知識要點 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 179
7．2 實驗指導 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 181
7．2．1 前饋神經(jīng)網(wǎng)絡感知器的設計實現(xiàn) ?????????????????????????????????????????????????????????????????????????????????????????????????????? 181
7．2．2 基于BP 網(wǎng)絡的多層感知器 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 184
7．2．3 自組織特征映射網(wǎng)絡的設計/實現(xiàn) ???????????????????????????????????????????????????????????????????????????????????????????????????? 189
7．2．4 徑向基神經(jīng)網(wǎng)絡 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 194
參考文獻 ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 198