机器学习基础篇：关于线性回归-正则化、MLE、MLP

正则化、MLE、MLP

阐述线性回归从两个方面：

未加正则化的线性回归：

①标量的最小二乘法LSE：

损失函数是
$$L=||w^T{x}_i-y_i|{|}^2$$
，目标是求其最小值，对其做矩阵变换，变换后对w求导，
$$\begin{array}{rl}\frac{\partial L(w)}{w}& =(X^{T}X+X^{T}X)W-X^{T}Y-X^{T}Y\\ & =2X^{T}XW-2X^{T}Y=0\end{array}$$
得参数w的解，

有解即有最小值，但由于解的形式带逆，因此结果有风险

②概率角度解释：

MLE，假设值+高斯，概率

加了正则化后的线性回归：

最小二乘法 《=》最大后验估计

即 MLE+正则化 = MLP

---

过拟合：

①增加数据

②减少模型复杂度：特征选取pca、方差、P值

③正则化

正则化的框架：

$$argmin[L(w)+\lambda P(w)]$$

，其中$L(w)$是损失函数，$P(w)$是惩罚项

---

另：

$$P(w)=||w_1|{|}_1$$

$$L1约束范围->|w_1|+|w_1|+...+|w_n|<=C$$

$$P(w)=||w_2|{|}_1^2=w^{T}w$$

$$L2约束范围->\sqrt{|w_1{|}^2+|w_1{|}^2+...+|w_n{|}^2}<=C$$

---

加L2正则化（矩阵形式）

$$\begin{array}{r}因为P(w)=w^{T}w\\ 所以P(w{)}^{\prime }=2\lambda w\end{array}$$

其中w是n维的向量，加了L2正则化的求导如下
$$\begin{gathered} \begin{array}{rl}\frac{\partial L(w)}{w}& =(X^{T}X+X^{T}X)W-X^{T}Y-X^{T}Y+2\lambda w\\ & =2(X^{T}X+\lambda I)W-X^{T}Y\end{array} \\ 解得w=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y \end{gathered}$$

加L2正则化（MLE-概率形式-频率派）

MLE如下：

已知
$$y=w^{T}x+\epsilon ，\epsilon \sim N(0,{\sigma }^2)$$
得
$$p=(y|x_i;w)\sim N(w^{T}x,{\sigma }^2)$$
而对于单个样本来说
$$p(y|w)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2}$$
又MLE是为了求得某参数使得函数达到最大值，这里我们用连乘

MLE->max(p1 * p2 * p3…pn)

因此，对于N个样本来说，概率似然函数为：
$$\begin{array}{rl}L(w)& =logP(Y|X;w)\\ & =log\prod _{i=1}^{N}P(y_i|x_i;w)\\ & =\prod _{i=1}^{N}logP(y_i|x_i;w)\\ & ={\Sigma }_{i=1}^{N}log\frac{1}{\sqrt{2\pi }\sigma }+{\Sigma }_{i=1}^{N}log{e}^{-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2}\\ & ={\Sigma }_{i=1}^N(log\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2)\end{array}$$
求解参数w为
$$\begin{array}{rl}\hat{w}& =argmax(L(w))\\ & =argmax(-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2)\\ & =argmin(y_i-w^T{x}_i{)}^2\end{array}$$
得出：最小二乘法隐含了一个噪声服从正态分布的假设

加L2正则化（概率形式-贝叶斯派）

此时的w参数不再是固定的，而是一个随机变量，根据新增信息(先验)
$$w\sim N(0,{\sigma }_0^2)$$
计算修正概率，更新后验概率值得到后验概率
$$p(w|y_i)=\frac{p(y|w)p(w)}{p(y)}$$
MAP角度来看，求w的最大后验:
$$\begin{array}{rl}\hat{w}& =argmax(\prod _{i=1}^{N}p(w|y_i))\end{array}$$
因为p(y)跟w无关，相当于一个常量，因此有
$$\begin{array}{rl}& \\ \hat{w}& =argmax(p(y|w_i)p(w_i))\end{array}$$
又由前面MLE可得（单样本来看）
$$似然：p(y|w)=\frac{1}{\sqrt{2\pi }{\sigma }^2}{e}^{-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2}$$

$$先验：p(w)=\frac{1}{\sqrt{2\pi }{\sigma }_0^2}{e}^{-\frac{1}{2{\sigma }^2}||w|{|}_2^2}$$

可得
$$\begin{array}{rl}& \\ \hat{w}& =argmax(p(y|w)p(w))\\ & =argmaxlog[p(y|w)p(w)]\\ & =argmaxlog(p(y|w))+argmaxlog(p(w))\\ & =argmax(-\frac{1}{2{\sigma }^2}(y-w^{T}x{)}^2-\frac{1}{2{\sigma }_0^2}||w|{|}_2^2)\\ & =argmin(\frac{(y-w^{T}x{)}^2}{{\sigma }^2}+\frac{||w|{|}_2^2}{{\sigma }_0^2})\end{array}$$
因此
$$\begin{array}{rl}& \\ {\hat{w}}_{MAP}& =argmin{\Sigma }_{i=1}^N(y_i-w^T{x}_i{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}||w|{|}_2^2\end{array}$$

结论

• 结论1：未加正则项情况下，最小二乘法是 《=》极大似然估计MLE+噪声符合高斯分布

• 结论2：加L2正则项情况下，最小二乘法/MLE是 《=》MAP+先验和噪声都符合高斯分布