约束优化方法

在机器学习中,常常需要对损失函数进行优化,但是我们可能希望在给定的集合中来搜索函数的最大值或者最小值,这就是约束优化。一个简单的方法是考虑约束条件后进行修改后的梯度下降,或者直接设计一个不同的、无约束的优化问题,其解可以转化为原始优化问题的解。

对于等式约束,可以直接采用拉格朗日方法,而对于不等式约束,可以使用KKT方法转换到广义的朗格朗日乘子中求解。

Karush-Kuhn-Tucker(KKT)方法是一种针对约束优化的通用的解决方案,假设优化目标存在等式约束和不等式约束

可以定义广义lagangian函数为

其中,是KKT乘子。

则约束可以转换为约束最小化问题,则为

如果是要求约束最大化,则可以取上式的f(x)为负或者把整个式子设为负号,上式的等式约束所对应的符号并不重要。

可以用一组性质来描述约束优化问题的最优点,称为KKT条件,这是确定一个点的必要条件,而非充分条件。这些条件是

  1. 广义lagrangian函数的梯度为0。
  2. 满足所有关于和KKT乘子的约束。(其中)
  3. 不等式约束满足:.(即两个中至少一个为0)

对不等式约束的直观解释,这个解为不等式强加的边界,可以通过KKT乘子影响最优解,或者消除不等式对解的影响。

欢迎大家关注公众号“计算机视觉与机器学习”


约束优化方法_第1张图片
计算机视觉和机器学习

你可能感兴趣的:(约束优化方法)