最優(yōu)化導(dǎo)論：人工智能與智能系統(tǒng)（第4版）

第一部分 數(shù)學(xué)知識回顧
第1章 證明方法與相關(guān)記法
1.1 證明方法
1.2 記法
習(xí)題
第2章 向量空間與矩陣
2.1 向量與矩陣
2.2 矩陣的秩
2.3 線性方程組
2.4 內(nèi)積和范數(shù)
習(xí)題
第3章 變換
3.1 線性變換
3.2 特征值與特征向量
3.3 正交投影
3.4 二次型函數(shù)
3.5 矩陣范數(shù)
習(xí)題
第4章 有關(guān)幾何概念
4.1 線段
4.2 超平面與線性簇
4.3 凸集
4.4 鄰域
4.5 多面體和多胞形
習(xí)題
第5章 微積分基礎(chǔ)
5.1 序列與極限
5.2 可微性
5.3 導(dǎo)數(shù)矩陣
5.4 微分法則
5.5 水平集與梯度
5.6 泰勒級數(shù)
習(xí)題
第二部分 無約束優(yōu)化問題
第6章 集合約束和無約束優(yōu)化問題的基礎(chǔ)知識
6.1 引言
6.2 局部極小點的條件
習(xí)題
第7章 一維搜索方法
7.1 引言
7.2 黃金分割法
7.3 斐波那契數(shù)列法
7.4 二分法
7.5 牛頓法
7.6 割線法
7.7 劃界法
7.8 多維優(yōu)化問題中的一維搜索
習(xí)題
第8章 梯度方法
8.1 引言
8.2 最速下降法
8.3 梯度方法性質(zhì)分析
習(xí)題
第9章 牛頓法
9.1 引言
9.2 牛頓法性質(zhì)分析
9.3 Levenberg-Marquardt修正
9.4 牛頓法在非線性最小二乘問題中的應(yīng)用
習(xí)題
第1O章 共軛方向法
10.1 引言
1O.2 基本的共軛方向算法
10.3 共軛梯度法
10.4 非二次型問題中的共軛梯度法
習(xí)題
第11章 擬牛頓法
11.1 引言
11.2 黑塞矩陣逆矩陣的近似
11.3 秩1修正公式
11.4 DFP算法
11.5 BFGS算法
習(xí)題
第12章 求解線性方程組
12.1 最小二乘分析
12.2 遞推最小二乘算法
12.3 線性方程組的最小范數(shù)解
12.4 Kaczmarz算法
12.5 一般意義下的線性方程組的求解
習(xí)題
第13章 無約束優(yōu)化問題和神經(jīng)網(wǎng)絡(luò)
13.1 引言
13.2 單個神經(jīng)元訓(xùn)練
13.3 反向傳播算法
習(xí)題
第14章 全局搜索算法
14.1 引言
14.2 Nelder-Mead單純形法
14.3 模擬退火法
14.4 粒子群優(yōu)化算法
14.5 遺傳算法
習(xí)題
第三部分 線性規(guī)劃
第15章 線性規(guī)劃概述
15.1 線性規(guī)劃簡史
15.2 線性規(guī)劃的簡單例子
15.3 二維線性規(guī)劃
15.4 凸多面體和線性規(guī)劃
15.5 線性規(guī)劃問題的標(biāo)準(zhǔn)型
15.6 基本解
15.7 基本解的性質(zhì)
15.8 幾何視角下的線性規(guī)劃
習(xí)題
第16章 單純形法
16.1 利用行變換求解線性方程組
16.2 增廣矩陣的規(guī)范型
16.3 更新增廣矩陣
16.4 單純形法
16.5 單純形法的矩陣形式
16.6 兩階段單純形法
16.7 修正單純形法
習(xí)題
第17章 對偶
17.1 對偶線性規(guī)劃
17.2 對偶問題的性質(zhì)
習(xí)題
第18章 非單純形法
18.1 引言
18.2 Khachiyan算法
18.3 仿射尺度法
18.4 Karmarkar算法
習(xí)題
第19章 整數(shù)規(guī)劃
19.1 概述
19.2 幺模矩陣
19.3 Gomory割平面法
習(xí)題
第四部分 有約束非線性優(yōu)化問題
第20章 僅含等式約束的優(yōu)化問題
20.1 引言
20.2 問題描述
20.3 切線空間和法線空間
20.4 拉格朗日條件
20.5 二階條件
20.6 線性約束下二次型函數(shù)的極小化
習(xí)題
第21章 含不等式約束的優(yōu)化問題
21.1 卡羅需-庫恩-塔克（Karush-Kuhn-Tucker）條件
21.2 二階條件
習(xí)題
第22章 凸優(yōu)化問題
22.1 引言
22.2 凸函數(shù)
22.3 凸優(yōu)化問題
22.4 半定規(guī)劃
習(xí)題
第23章 有約束優(yōu)化問題的求解算法
23.1 引言
23.2 投影法
23.3 求解含線性約束優(yōu)化問題的投影梯度法
23.4 拉格朗日法
23.5 罰函數(shù)法
習(xí)題
第24章 多目標(biāo)優(yōu)化
24.1 引言
24.2 帕累托解
24.3 怕累托前沿的求解
24.4 多目標(biāo)優(yōu)化到單目標(biāo)優(yōu)化的轉(zhuǎn)換
24.5 存在不確定性的線性規(guī)劃
習(xí)題
參考文獻