机器学习总结之----1.线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。

基本形式

一般线性模型表示:
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
其中，$x_1$,$x_2$这些是$x$的第1，2维属性(特征)，这里的$x$只是一个列向量，和我们常见到的$X$不同。$X$是包含很多的$x$的，有时$x$为了加以区分，写作$x^{(i)}$的形式,下面我们会用到。
${\theta }_0,{\theta }_1,{\theta }_2$是对应特征的权重，${\theta }_0$也可以看作是偏置。

写成向量形式：
$$y=h_{\theta }(x)={\theta }^{T}x$$

损失函数

我们要用已知的数据来求解$\theta$的值。
我们采用最小二乘法。
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”
均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量。
$$MSE(X,h_{\theta })=\frac{1}{m}\sum _{i=1}^m({\theta }^T{x}^{(i)}-y^{(i)}{)}^2$$
$x^{(i)}$就是$X$的第i个列向量，或者说第i个数据，$X$一共有m个数据(m列)。

最大似然估计

最大似然估计线性回归，其实和最小二乘法有异曲同工之妙，我们接下来分析。

误差

真实值与预测的值是有误差的，我们用$\epsilon$表示误差，根据大数定理，每一个样本的误差${\epsilon }^{(i)}$是独立同分布的，并且服从均值为 0 方差 ${\sigma }^2$的高斯分布。
所以，对每一个真是的样本，有：
$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$$

推导

最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。
因为误差服从高斯分布，那么出现误差${\epsilon }^{(i)}$的概率为：
$$p({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})$$

其中，误差的概率$p({\epsilon }^{(i)})$，就是在已知$\theta$给定$x^{(i)}$求得$y^{(i)}$的概率。于是，把误差带入到上式，可得：
$$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

对已发生的m个样本，出现的概率为：
$$L(\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

两边取对数：
$$logL(\theta )=log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$

$$=\sum _{i=1}^{m}log\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

要使出现的概率最大，也就是要使上面表达式的值最大，减号左边是一个定值，等价于得使得下面得表达式值最小：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

现在我们看一下，其实就是最小二乘法。

求解方法

方程法

将损失函数写成矩阵形式：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2=\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)$$

$J(\theta )$对$\theta$求偏导：
$${▽}_{\theta }J(\theta )={▽}_{\theta }\left(\frac{1}{2}(X\theta -y{)}^T(X\theta -y)\right)={▽}_{\theta }\left(\frac{1}{2}({\theta }^T{X}^T-y^T)(X\theta -y)\right)$$

$$={▽}_{\theta }\left(\frac{1}{2}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-y^{T}X\theta +y^{T}y)\right)$$

$$=\frac{1}{2}\left(2X^{T}X\theta -X^{T}y-X^{T}y+0\right)=X^{T}X\theta -X^{T}y$$

令偏导为0，得：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

trick： 记忆方法
记住$X\theta =y$，然后等式两边在左同时乘上$X^T$，得到$X^{T}X\theta =X^{T}y$，再把左边得因子移到右边，得$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

上面用到了一些矩阵求导公式，摘要一些用到的：
$$\frac{d{B}^{T}AB}{dB}=2AB$$

$$\frac{d{A}^{T}B}{dA}=B$$

$$\frac{dAB}{dB}=A^T$$

其他可以参考 常用的向量矩阵求导公式

梯度下降法

在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。

梯度下降基本算法为： 首先用随机值填充$\theta$（初始化），然后逐步改进，目的是降低代价函数，直到算法收敛到最小或者达到指定步数为止。
$$\theta :=\theta -\alpha \cdot {▽}_{\theta }J(\theta )$$

其中$\alpha$为学习率，$\theta$是我们想要求得参数。

常见得几种梯度下降：

• 批量梯度下降(BGD)
  优点：得到全局最优解；易于并行实现；
  缺点：当样本数目很多时，训练过程会很慢。

• 随机梯度下降(SGD)
  优点：训练速度快；
  缺点：准确度下降，并不是全局最优；不易于并行实现。

• 小批量梯度下降(MBGD)
  结合SGD和BGD，是一种比较好得方法。

本文参考：
线性回归 - 爖

其他资料:
latex在线编辑
latex中文说明书