机器学习基础·拉格朗日乘数法

摘要

方法的目标问题，原始问题，对偶问题的描述及形式，相关理论及KKT条件。

正文

1. 目标
   解决条件极值问题，条件含不等式约束及等式约束，拉格朗日乘数法将约束问题转换为无约束问题。

2. 问题描述
   假设是定义在上的连续可微函数。
   

3. 构造拉格朗日函数
   

4. 原始问题的等价表示
   

5. 对偶问题
   

6. 原始问题和对偶问题的关系
   (1)
   (2) 的条件
   a. 是凸函数，是仿射函数；
   b. 不等式约束是严格可行的。

7. KKT条件

• 备注:注意在使用拉格朗日乘数法时，约束条件的右端为，不等式约束是。

参考资料

[1] 李航.统计学习方法(第二版).清华大学出版社,2019.