算法中的最优化方法总结（中国科学院大学）

主要内容

1.线性规划

• 单纯形法

2.二次规划

• modified simplex method（改进的单纯形法）
• 有效集法

3.无约束的非线性规划

• 梯度下降法
• 牛顿法、拟牛顿法
• 方向确定和步长确定的方法
• 垂直搜索方法 Powell垂直搜索方法

4.有约束的非线性规划

• 线性约束（拉格朗日方法）
• 非线性约束（罚函数、障碍法、SQP）

5.凸优化

• 凸集
• 截平面法、椭圆法、内点法

6.全局优化

• 多起点局部优化
• 遗传算法
• 模拟退火

7.多目标优化

• 帕累托最优化
• Weighted-sum strategy   、ε-constraint method 、 Goal attainment method

8.整数规划

• either-or constraints 、 K out of N constraints 、 functions with N possible values
• 分支限界

9.动态规划

问题

1.KKT条件到底是什么

2.常用的将约束问题转化为无约束问题的方法 

• 拉格朗日函数和增广拉格朗日函数
• 罚函数和障碍函数
• 如果约束是凸函数的话可以用特殊的方法

最优化