\[ \begin{align*} J_{LS}{(\theta)} = \frac { 1 }{ 2 } { \left\| \Phi \theta - y \right\| }^{ 2 } \\ \min(J_{LS}{(\theta)}) \quad \text{约束条件 }\| \theta \|^2 < R\\ \end{align*} \]
拉格朗日对偶问题
假设 \(f(x)\), \(c_i(x)\), \(h_j(x)\) 是定义在 \(R^n\) 上的连续可微函数, 考虑约束最优化问题
\[ \begin{align} \min_{x\in R^n} f(x) \quad \quad \quad\quad\quad\quad\quad\quad\quad\quad\\ s.t. \space c_i(x) \le 0, \quad i=1,2,3, \cdots,k\quad\quad \\ \quad \quad h_j(x) = 0, \quad \quad \quad i=1,2,3, \cdots,l \end{align} \]
称此最优化问题为原始最优化问题或原始问题
首先引入广义拉格朗日函数
\[ \begin{align} L(x, \alpha, \beta) = f(x) + \sum_i^k\alpha_i c_i(x) + \sum_j^l\beta_j h_j(x) \quad \alpha_i \ge 0 \end{align} \]
由于, 若 \(c_i(x) \le 0, \quad h_j(x) = 0\), 则
\[\theta_p(x) = \max_{\alpha_i, \beta_j, \alpha_i \ge 0}L(x, \alpha, \beta) =f(x)\]
\(\color{red}{则原始最优化问题等价于}\)
\[ \begin{align} \min_x \max_{\alpha_i, \beta_j, \alpha_i \ge 0} L(x, \alpha, \beta) \quad\quad\quad\quad\quad\\ s.t. \space c_i(x) \le 0, \quad \quad\quad i=1,2,3, \cdots,k \\ \quad \quad h_j(x) = 0, \quad \quad \quad i=1,2,3, \cdots,l \end{align} \]
上述问题称为广义拉格朗日函数的极小极大问题. 该问题和原始最优化问题 \(\it 式(1), (2), (3)\) 等价
\[ \begin{align} \max_{\alpha_i, \beta_j, \alpha_i \ge 0} \min_x L(x, \alpha, \beta) \end{align} \]
上述问题称为广义拉格朗日函数的极大极小问题, 是广义拉格朗日函数的极小极大问题的对偶问题
如果\(\alpha_i\), \(\beta_j\), \(x\) 满足 \(Karush-Kuhn_Tucker(KKT)\) 条件, 则
\[对偶问题的解 \Longleftrightarrow lagrange极小极大问题解 \Longleftrightarrow 原始问题解\]
L2 约束
\[ \begin{align*} &J_{LS}{(\theta)} = \frac { 1 }{ 2 } { \left\| \Phi \theta - y \right\| }^{ 2 }\quad \\ &\min(J_{LS}{(\theta)}) \quad \text{约束条件 }\| \theta \|^2 < R\\ \end{align*} \]
该原始问题可以转化对偶问题
\[ \begin{align} \max_{\lambda} \min_\theta \left[J_{LS}{(\theta)} + \frac\lambda2 \left(\| \theta \|^2 - R\right)\right] \quad 约束条件 \lambda \ge 0 \end{align} \]
lagrange 对偶问题的 拉格朗日乘子 \(\lambda\) 的解由 \(R\) 决定. 如果不根据 \(R\) 来决定 \(R\), 而是直接指定的话, \(\space l_2\) 约束的最小二乘学习法的解 \(\hat{\theta}\) 可以通过下式求得
\[ \begin{align} \hat{\theta} = \arg\min_{\theta} \left[ J_{LS}{\theta)} + \frac\lambda2 \| \theta \|^2 \right] \end{align} \]
\(J_{LS}{\theta)}\) 表示的是训练样本的拟合程度, 与 \(\frac\lambda2 \| \theta \|^2\)结合求最小值, 来防止训练样本的过拟合. \(l_2\)正则化的最小二乘学习法也称为岭回归.
\[ \begin{align*} \frac{\partial( {J_{LS}{\theta)} + \frac\lambda2 \| \theta \|^2})}{ \partial \theta} = \Phi^T(\Phi \theta - y) + \theta = 0 \\ \hat{\theta} = (\Phi^T\Phi + \lambda I)^{-1}\Phi^Ty \end{align*} \]
奇异值分解
考虑矩阵 \(\Phi\) 的奇异值分解
\[ \Phi = U\Sigma V^T = \sum_{k=1}^{\min(n,b)} u_k\sigma_kv_k^T,\\ \Phi^T\Phi = V \Sigma^2V^T = \sum_{k=1}^{\min(n,b)} v_k\sigma_k^2v_k^T \\ \Phi ^T = V\Sigma U^T = \sum_{k=1}^{\min(n,b)} v_k\sigma_ku_k^T\\ \]
其中\(\quad \Sigma\) 为对角矩阵
\(\space l_2\) 约束的最小二乘学习法的解 \(\hat{\theta}\)如下式表示
\[ \hat{\theta} = \sum_{k=1}^{\min(n,b)} \frac{\sigma_k}{\sigma_k^2 + \lambda}u_k^Tyv_k \]
通过在分母中加入正常数 \(\lambda\) 使得 \(\frac{\sigma_k}{\sigma_k^2 + \lambda}\) 避免变得过大, 进而达到防治过拟合的目的.
Q: 不清楚为什么 \(\hat{\theta}\) 变小了就能防治过拟合 ?
我是这样理解的, 就拿房价的曲线拟合来说吧. 如果基函数 \(\Phi(x)\) , 比如
\[(1, \sin{x/2}, \cos{x/2}, \cdots, sin15x/2, cos15x/2)\]
是给定的. 那么, 减小系数向量 \(\hat{\theta}\) 可以减小函数变化的幅度, 不会让模型因为和训练样本过于相似, 而失去了泛化能力.