线性规划求解——增广拉格朗日函数法

原问题

$$\begin{gathered} \underset{x}{\min }{c}^{T}x \\ s.t.Ax=b \\ x\ge 0\text{\hspace{1em}(P)} \end{gathered}$$

对偶问题

$$\begin{gathered} \underset{y}{\max }{b}^{T}y \\ s.t.A^{T}y+s=c \\ s\ge 0\text{\hspace{1em}(D)} \end{gathered}$$
$A\in {\mathbb{R}}^{m\times n},x\in {\mathbb{R}}^n,s\in {\mathbb{R}}^n,y\in {\mathbb{R}}^m$

---

对偶问题的增广拉格朗日函数：
$$\begin{gathered} L_t(y,s,\lambda )=-b^{T}y+{\lambda }^T(A^{T}y+s-c)+\frac{t}{2}||A^{T}y+s-c|{|}_2^2, \\ =-b^{T}y+\frac{t}{2}(||A^{T}y+s-c+\frac{\lambda }{t}|{|}_2^2-||\frac{\lambda }{t}|{|}_2^2), \\ s.t.s\ge 0 \end{gathered}$$
迭代步骤为：

• $$\begin{gathered} (y^{+},s^{+})={\mathrm{argmin}}_{s\ge 0,y}{L}_t(y,s,\lambda ) \\ ={\mathrm{argmin}}_{s\ge 0,y}-b^{T}y+\frac{t}{2}(||A^{T}y+s-c+\frac{\lambda }{t}|{|}_2^2)\text{\hspace{1em}(1)} \end{gathered}$$
• $${\lambda }^{+}=\lambda -t(c-A^T{y}^{+}-s^{+})$$
  注意到子问题 (1) 中，若求得 $y$ 的最优点 $y^{+}$，则 $s^{+}$ 必须满足：
  $$\begin{gathered} s^{+}={\mathrm{argmin}}_{s\ge 0}||A^T{y}^{+}+s-c+\frac{\lambda }{t}|{|}_2^2 \\ ={\mathbb{P}}_{{\mathbf{R}}_{+}^n}(c-A^T{y}^{+}-\frac{\lambda }{t}) \end{gathered}$$
  其中，${\mathbb{P}}_{{\mathbf{R}}_{+}^n}(\cdot )$ 表示向 ${\mathbb{R}}^n$ 空间中第一象限的投影。将上式代入 (1) 中可以将变量 $s$ 消去，得到简化的迭代形式：
• $$y^{+}={\mathrm{argmin}}_{s\ge 0,y}-b^{T}y+\frac{t}{2}\sum _{i=1}^n{\Psi }_i(y,\lambda ,t)\text{\hspace{1em}(2)}$$
• $${\lambda }^{+}={\mathbb{P}}_{{\mathbf{R}}_{+}^n}(\lambda -t(c-A^{T}y))$$
  其中
  $${\psi }_i(y,\lambda ,t)=\{\begin{array}{lr}(A_i^{T}y-c_i+\frac{{\lambda }_i}{t}{)}^2,& c_i-A_i^{T}y-{\lambda }_i/t<0\\ 0,& otherwise\end{array}$$
  对子问题 (2}) 的求解可以采用梯度法，半光滑牛顿法等等。