最优化理论与方法_《数值与最优化方法》（目录）

对于每一个方法，都大致按照“问题形式”、“算法步骤”和“收敛分析”来进行展开的。而对于科研中常用方法，则讲透本质思想。

目录

《数值与最优化方法》（一） 包括：
一 . 无约束最优化计算方法 1.1 数学基础
1.1.1 等值线； 1.1.2 可微与梯度； 1.1.3 方向导数； 1.1.4 Hesse矩阵； 1.1.5 多元函数的Taylor展开； 1.1.6 开集与闭集； 1.1.7 最优性条件； 1.1.8 凸集； 1.1.9 凸函数； 1.1.10 数值插值方法 《数值与最优化方法》（二） 包括： 1.2 精确搜索
1.2.1 黄金分割法； 1.2.2 斐波那契法； 1.2.3 插值法 1.3 非精确搜索
1.3.1 思想； 1.3.2 理论基础；1.3.3 最速下降法； 1.3.4 牛顿法 《数值与最优化方法》（三）包括：
1.3.5共轭梯度法； 1.3.6 拟牛顿法；1.3.7 信赖域方法 《数值与最优化方法》（四）包括： 二. 约束最优化方法 2.1 解析解法
2.1.1 可行下降方向；2.1.2 一阶必要条件；2.1.3 二阶必要条件 2.2 惩罚函数法
2.2.1 外点惩罚函数法；2.2.2 内点惩罚函数法 2.3 乘子法 2.4 ROSEN梯度投影法 《数值与最优化方法》（五）包括： 三. 直接搜索方法（免导数方法） 3.1 Hooke-Jeeves步长加速法 3.2 Powell方向加速法 《数值与最优化方法》（六）包括： 四. 科研中常用的训练算法 4.1 SGD 《数值与最优化方法》（七） 包括： 五. 数值积分 5.1 常见方法 5.2 马尔可夫链蒙特卡罗法
5.2.1 蒙特卡罗法的思想；
5.2.2 马尔可夫链蒙特卡罗法
5.2.2.1 思想方法； 5.2.2.2 Metropolies-Hastings算法； 5.2.2.3 吉布斯抽样

参考资料

【1】 最优化理论及方法 电子版课件 （张晓伟老师，电子科技大学数学科学学院）

【2】《数值分析》（钟尔杰 黄廷祝，高等教育出版社，2013）

【4】《统计学习方法》（李航，清华大学出版社，2019）