L1-L2范数最小化问题-迭代收缩算法

L1-L2范数最小化问题-迭代收缩算法

涉及L1-L2范数的机器学习问题非常常见，例如我们遇到的去噪、稀疏表示和压缩感知。一般而言，这类问题可以表示为：
\[ \min_{\bf{z}} || {\bf{z}}||_0 \\ \text{subject to: } ~ \frac{1}{2}|| {\bf{x}} - {\bf{A}} {\bf{z}} ||_2^2 \leq \epsilon \]
由于\(L_0\)范数存在着NP难的问题，因此我们一般会用\(L_1\)范数来替代\(L_0\)范数，得到关于\(\bf{z}\)的如下问题：
\[ f({\bf{z}}) = \frac{1}{2} || {\bf{x}} - {\bf{A}} {\bf{z}} ||_2^2 + \lambda || {\bf{z}}||_1 \]
研究表明，使用\(L_1\)来替代\(L_0\)范数也能够得到比较稀疏的\(\bf{z}\)，因此上述问题能够替代\(L_0\)范数来解决我们上述所说的机器学习任务。