变量分裂法（Variable Splitting）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/DoctorCuiLab/article/details/83051359

变量分裂法

变量分裂方法可以解决目标函数是两个函数之和的优化问题：
$$\underset{u\in K^n}{\min }{f}_1(u)+f_2(g(u))\text{\hspace{1em}(1)}$$

其中$g$是$n$维向量到$d$维向量的一个映射。所谓的变量分裂就是将上式变为：

$$\underset{u\in K^n,v\in R^d}{\min }{f}_1(u)+f_2(v)s.t.g(u)=v\text{\hspace{1em}(2)}$$

显然(1)和(2)是一样的。变量分裂之所以会有用的主要原因就是问题(2)可能比(1)更容易或高效的解决。比如说，如果问题(2)是凸的话，我们就可以使用增广拉格朗日的方法来高效的求解。
另一种解释：
考虑$$\underset{x}{\min }f(Lx)+g(x)\text{\hspace{1em}(3)}$$其中，$L$是一个线性算子。
引入$y=Lx$，得到：

$$\underset{x,y}{\min }f(y)+g(x)s.t.Lx-y=0\text{\hspace{1em}(4)}$$

利用增广拉格朗日方法，得到：

$$L(x,y;\lambda )=f(y)+g(x)+<\lambda ,Lx-y>+\frac{1}{2}||Lx-y|{|}_2^2\text{\hspace{1em}(5)}$$

以上内容编辑：任月