最优化理论（二）

配合视频 中科大-凸优化
配合笔记 凸优化笔记

二、凸优化问题

1.凸优化问题概述

• 判断一个优化问题是否是凸优化
• 纠正拟凸证明，凸优化问题
• 可行性优化问题，等价问题
• 凸优化问题，凸优化问题的性质
• $x^{\ast }\in X_f$最优 $⟺$ $▽f_0^T(x^{\ast })(y-x^{\ast })\ge 0$的$\Rightarrow$理解：根据凸函数一阶条件$f_0(y)\ge f_0(x^{\ast })+▽f_0^T(x^{\ast })(y-x^{\ast })$，而$f_0(x^{\ast })$已经最小了，$f_0(y)$必然是要$\ge f(x^{\ast })$的，因此必须加一个$\ge 0$的数才能找到这样的$y$

2.凸优化约束条件

• 约束仅为等式约束或非负约束，线性规划一般形式
• 当约束为非负约束时，证明最优解处的梯度必须为零，理解关键：因为$x$是最优解，即给定了，此时$▽f_0^T(x)(y-x)$是一个关于$y$的函数，$f(y)=▽f_0^T(x)y-▽f_0^T(x)x$，它相当于是很多个一次函数，每个一次函数的系数是$▽f_0(x)$的一个分量，而这些所有的一次函数在$y\ge 0$的时候都必须非负，因此每个系数都不能是负的，即$▽f_0^T(x)\ge 0$

3.具体优化问题

• 线性规划的变化形式，线性分数规划
• 二次规划及二次约束二次规划，技巧：正负部拆分
• 半正定规划
• 多目标优化

4.拉格朗日对偶

• 拉格朗日函数，对偶函数
• 函数共轭与对偶函数，对偶问题最优解
• 对偶问题和原问题
• $p^{\ast }/d^{\ast }$的几种解释
• 几何解释中$z=\lambda u+t$是一条直线：$t=-\lambda u+z$，斜率是小于零的，要求$z$的最小值（而且要保证$(u,t)$在$G$内），给定$\lambda$后（接下来的操作相当于代数运算中遍历可行域在求$x$），$z$的最小值是与移动时刚好与可行碰到的情况（因为此时能够保证给定对$\lambda$，$z_{min}=g(\lambda )$），即此时$g(\lambda )$确定为只与$\lambda$有关的函数（$x$求完代入了表达式），然后保证“刚碰到而不超过”的条件（保证$g(\lambda )$是当前求得的这样的表达式），改变斜率要使得$g(\lambda )$最大，求得的结果就是$d^{\ast }$，关键是理解最高的下确界，先确定移动棍子确定下确界（确定$x$），再改变斜率确定最高（确定$\lambda$）
• $p^{\ast }/d^{\ast }$的经济学和鞍点方面补充解释/鞍点的定义和鞍点定理

5.KKT条件

• 互补松弛条件，$KKT$条件，优化问题与$KKT$条件的充要关系和成立条件
• 一些问题的$KKT$条件
• 凸问题等价转化后的对偶问题
• 敏感性分析：扰动问题后的解的性质，关于第一个证明的理解，可以见保留凸性的一种方式：在一个凸集上最小化一个联合凸函数形成的单变量函数仍是凸函数