约束优化方法

在机器学习中，常常需要对损失函数进行优化，但是我们可能希望在给定的集合中来搜索函数的最大值或者最小值，这就是约束优化。一个简单的方法是考虑约束条件后进行修改后的梯度下降，或者直接设计一个不同的、无约束的优化问题，其解可以转化为原始优化问题的解。

对于等式约束，可以直接采用拉格朗日方法，而对于不等式约束，可以使用KKT方法转换到广义的朗格朗日乘子中求解。

Karush-Kuhn-Tucker（KKT）方法是一种针对约束优化的通用的解决方案，假设优化目标存在等式约束和不等式约束

可以定义广义lagangian函数为

其中，是KKT乘子。

则约束可以转换为约束最小化问题，则为

如果是要求约束最大化，则可以取上式的f(x)为负或者把整个式子设为负号，上式的等式约束所对应的符号并不重要。

可以用一组性质来描述约束优化问题的最优点，称为KKT条件，这是确定一个点的必要条件，而非充分条件。这些条件是

1. 广义lagrangian函数的梯度为0。
2. 满足所有关于和KKT乘子的约束。（其中)
3. 不等式约束满足：.(即两个中至少一个为0)

对不等式约束的直观解释，这个解为不等式强加的边界，可以通过KKT乘子影响最优解，或者消除不等式对解的影响。

欢迎大家关注公众号“计算机视觉与机器学习”

计算机视觉和机器学习