机器学习笔记_ 数值最优化_3：KKT条件

KKT条件(几何的解释)

对于凸优化，KKT条件的点就是其极值点(可行下降方向)。

• 设 x∗ 是非线性规划的局部最小点，目标函数 f(x) 在 x∗ 可微，约束方程(g(x))在 x∗ 处可微，连续；则X*点不存在可行下降方向(因为已经是局部最小点了)

• 若极小值点在内部，则无约束问题，直接拉格朗日乘子法

• 若极小值在边界上，( gi(x∗)=0 )

• 互补松弛条件
  ▽f(x∗)−γ1▽g1(x∗)−γ2▽g2(x∗)=0
  不起作用的约束包含γi≥0；γigi(x∗)=0
  满足其他约束

• 一阶得到是局部极值点 ，还需要通过二阶判断是否是鞍点

强对偶条件( 鞍点解释)->对偶函数取下确界，则对偶函数一定是凹函数

• 原函数不好求，转换为求解对偶函数，则对偶函数下确界求得，则比为凹函数（负号为凸函数)
• 上确界求得，比为凸函数
• 满足KKT条件后，对偶函数和原函数最优值相等
• 求解对偶函数，及求解凸函数
• 对偶和原函数相等（对偶间隔=0）需要满足的式子也是KKT，同时最优点是鞍点，也就是KKT方程的解

对偶问题：若要对偶函数的最大值即为原问题的最小值问题(对偶间隙是0)，解凸优化问题等价于解KKT方程；

• f0(x∗)=g(λ∗,ν∗)−>（拉格朗日对偶函数）
  =infx(f0(x)+∑i=1mλ∗ifi(x)+∑i=1pvihi(x)
  ≤infx(f0(x)+∑i=1mλ∗ifi(x)+∑i=1pvihi(x)
  ≤f0(x∗)

上式等号成立需要：

fi(x∗)≤0,i=1,...,m
hi(x∗)=0,i=1,...,m
λ∗i≥0,i=1,...,m
λ∗ifi(x∗)=0,i=1,...,m
▽f0(x∗)+∑i=1mλ∗i▽fi(x∗)+∑i=1pvi▽hi(x∗)=0