增广拉格朗日函数法（ALM）

增广拉格朗日函数法（ Augmented Lagrangian method）

一、等式约束

考虑问题：
$$\begin{array}{ll}{\min }_x& f(x)\\ s.t.& c_i(x)=0,i=1,\cdots ,m.\end{array}$$
定义增广拉格朗日函数：
$$L_t(x,\lambda )=f(x)-\sum _i{\lambda }_i{c}_i(x)+\frac{t}{2}\sum _i(c_i(x){)}^2$$

增广拉格朗日函数可以理解为在拉格朗日函数的基础上加了一个二次惩罚项，所以该方法是拉格朗日函数法与罚函数法的结合。

求解方法类似于对偶上升法，不过梯度上升的步长改成了固定的参数 $t$，算法迭代步骤为：

• 固定 $\lambda$, 更新x：
  $$x^{+}=\underset{x}{\mathrm{argmin}}{L}_t(x;\lambda )$$
  意味着
  $${\nabla }_x{L}_t(x^{+};\lambda )=\nabla f(x^{+})-\sum _i({\lambda }_i-t{c}_i(x^{+}))\nabla c_i(x^{+})=0$$
• 更新 $\lambda$:
  $${\lambda }_i^{+}={\lambda }_i-t{c}_i(x^{+})$$

---

二、不等式约束

考虑问题：
$$\begin{array}{ll}{\min }_x& f(x)\\ s.t.& c_i(x)\ge 0,i=1,\cdots ,m.\end{array}$$
其等价形式为：
$$\begin{array}{ll}{\min }_x& f(x)\\ s.t.& c_i(x)-{\nu }_i=0,\\ & {\nu }_i\ge 0,i=1,\cdots ,m.\end{array}$$
定义带约束的增广拉格朗日函数：
$$\begin{gathered} L_t(x,\lambda )=f(x)-\sum _i{\lambda }_i(c_i(x)-{\nu }_i(x))+\frac{t}{2}\sum _i(c_i(x)-{\nu }_i(x){)}^2 \\ s.t.{\nu }_i\ge 0,i=1,\cdots ,m. \end{gathered}$$
算法迭代步骤为：

• 固定 $\lambda$, 更新$x,\nu$：
  $$\begin{array}{rl}(x^{+},{\nu }^{+})& =\arg {\min }_{x,\nu }{L}_t(x;\lambda )\\ & =\arg {\min }_{x,\nu }f(x)+{\sum }_i\left\{-{\lambda }_i(c_i(x)-{\nu }_i(x))+\frac{t}{2}(c_i(x)-{\nu }_i(x){)}^2\right\}\\ s.t.& {\nu }_i\ge 0,i=1,\cdots ,m.\end{array}\text{\hspace{1em}(1)}$$

• 更新 $\lambda$:$${\lambda }_i^{+}={\lambda }_i-t(c_i(x^{+})-{\nu }_i^{+})$$

事实上，算法中的 $\nu$ 可以消去，由(1)式
$$\begin{array}{rl}(x^{+},{\nu }^{+})& =\arg {\min }_{x,\nu }f(x)+{\sum }_i\left\{-{\lambda }_i(c_i(x)-{\nu }_i(x))+\frac{t}{2}(c_i(x)-{\nu }_i(x){)}^2\right\}\\ & =\arg {\min }_{x,\nu }f(x)+\frac{t}{2}{\sum }_i\left\{-(\frac{{\lambda }_i}{t}{)}^2+(c_i(x)-{\nu }_i(x)-\frac{{\lambda }_i}{t}{)}^2\right\}\\ & =\arg {\min }_{x,\nu }f(x)+\frac{t}{2}{\sum }_i\left\{(c_i(x)-{\nu }_i(x)-\frac{{\lambda }_i}{t}{)}^2\right\}\\ s.t.& {\nu }_i\ge 0,i=1,\cdots ,m.\end{array}\text{\hspace{1em}(2)}$$
从(2)式第二项很容易看出，假如先求得 $x^{+}$，必然有
$${\nu }_i^{+}=\max (c_i(x^{+})-\frac{{\lambda }_i}{t},0)$$

上式中取 $\max$ 是为了满足 $\nu$ 非负的约束条件。将其代回 (1) 式，得
$$x^{+}=\arg \underset{x}{\min }f(x)+\sum _i\psi (c_i(x),{\lambda }_i,t)$$

其中
$$\psi (c_i(x),{\lambda }_i,t)=\{\begin{array}{ll}-{\lambda }_i{c}_i(x)+\frac{t}{2}{c}_i(x{)}^2,& \text{如果}{c}_i(x)-{\lambda }_i/t<0,\\ & \\ -\frac{{\lambda }_i^2}{2t},& otherwise.\end{array}$$
然后更新$\lambda$:$${\lambda }^{+}=\max ({\lambda }_i-t{c}_i(x^{+}),0)$$

这堆公式码起来真是要了朕的老命啊 ‍♂️