拉格朗日松弛

一切资源来源于网上，仅供自己学习使用
最好的文章：https://zhuanlan.zhihu.com/p/36621652添加链接描述
最好的文章2：https://blog.csdn.net/zuzhiang/article/details/103293545添加链接描述
自己已经明白了拉格朗日松弛算法的大致内容，在这里提出几个需要注意的点。

问题1：kkt与拉格朗日松弛法
重要：浅谈kkt条件
这篇文章介绍了kkt的形式以及为什么是这种形式

自己理解：是等式约束：称为拉格朗日乘数法
如果是不等式约束：同样地，我们把所有的等式、不等式约束与f(x)写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件称为KKT条件。

首先是等式约束的松弛。这里和“线性规划对偶问题中等式约束对应的对偶变量没有符号限制”以及“库恩-塔克条件（KKT条件）中等式约束对应的系数没有符号限制”的原理完全相同，等式约束松弛对应的系数也没有符号限制（两个非负的系数相减得到一个没有符号限制的系数）。

其中hx是等式约束 gx是不等式约束
图源：https://zhuanlan.zhihu.com/p/29677416

为什么是这么三个条件？：
图源https://zhuanlan.zhihu.com/p/392900101
其中的互补松弛性：

图源https://blog.csdn.net/qq_32742009/article/details/81411151

其中的对偶可行性：

记住：求的是min！所以目标函数是负梯度！（梯度的定义是往上升的方向）
解决了问题2

如果不满足这么些个条件呢？ 会变成正无穷：

问题2：λ为什么大于等于0
不知道
对应的 要把被松弛的约束写成x<0的形式
如图 ：https://zhuanlan.zhihu.com/p/428705440

问题3：
弱对偶

或下图

这两幅图说明的一个问题：
原问题：min max
对偶问题 ： max min
注意区别对偶函数与对偶问题

问题4：
添加链接描述优化方法：原问题和拉格朗日对偶问题（primal-dual）
也说明了：原问题：min max
对偶问题 ： max min
对偶函数 ：原问题以λ为自变量