机器学习基础之线性回归详解（未完待续）

---

1. 线性回归问题的数学描述

注意：线性模型是指参数之间是线性组合的，而不是指模型的输入变量。输入变量之间可以是非线性组合的（此时也可以将非线性组合的参数定义为一个新的变量）。

记$x$为n维的输入特征，$\theta$为参数(parameter)，也叫权重(weight)，假设函数为以$x$为变量的线性函数：
$$h_{\theta }(x)=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{T}x\text{\hspace{1em}(1-1)}$$
其中，习惯令$x_0=1$，对应的${\theta }_0$为截距项(intercept term)
代价函数（cost function）为$h(x(i))$与对应的$y(i)$的欧氏距离（的平方的一半）：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2\text{\hspace{1em}(1-2)}$$
上述代价函数其实就是最小二乘法拟合模型中的成本函数。

2. 最小均方算法（LMS, Least Mean Square）

我们的目的是选取合适的$\theta$使得最小化$J(\theta )$。一般可采用迭代搜索的算法，选取$\theta$的初始值，然后改变$\theta$使得$J(\theta )$减小并重复迭代这一过程。比较常用的算法是梯度下降（gradient descent)方法，迭代公式为：
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )\text{\hspace{1em}(2-1)}$$
$(2-1)$对所有参数${\theta }_j,j=1,2,\cdots ,n$都进行更新。$\alpha$是学习率（learning rate），用来调节迭代步长。梯度下降法可以朝着$J$降低最快的方向移动。

2.1. 只有一个样本的情况

当训练集只有一个样本时，第$j$维参数的梯度方向为：
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2}{\left(h_{\theta }(x)-y\right)}^2\\ & =(h_{\theta }(x)-y)x_j\end{array}\text{\hspace{1em}(2-2)}$$
此时，$(2-1)$可表示为：
$${\theta }_j:={\theta }_j+\alpha (y-h_{\theta }(x))x_j\text{\hspace{1em}(2-3)}$$
可以看到，(2-3)中参数变化量的绝对值正比于实际值与预测值的差的绝对值，所以在迭代初期能够较快地靠近最优值，迭代末期能够比较精细地逼近最优值。

2.2. 多个样本的情况

一种更新方式是对所有样本的损失之和，也即$(1-2)$所示代价函数进行求导代入$(2-1)$：
$${\theta }_j:={\theta }_j+\alpha \sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}))x_j^{(i)}\text{\hspace{1em}(2-4)}$$
上述方法在每一步迭代时都要对训练集所有样本计算损失函数，被称为批量梯度下降（batch gradient descent）。、

注意，如果目标函数不是凸函数，那么梯度下降法很容易陷入局部最优；线性回归的代价函数是凸函数，只要$\alpha$选取得不是特别大，总能收敛到全局最小值点。
另一种更新策略是每次迭代时，分别计算一个样本的损失函数并对参数进行更新：

Loop{
    for i=1 to m,{

KaTeX parse error: \tag works only in display equations

    }
}

上面的方法叫做随机梯度下降（stochastic gradient descent）或者增量梯度下降（incremental gradient descent）。
由于批量梯度下降在每次迭代的时候都要计算训练集所有的样本的损失函数，因此当样本数$m$比较大的时候梯度批量下降每次迭代所需的时间开销会比较大。此外，随机梯度下降也能够比批量梯度下降更快接近最小值点（注意，接近不代表一定会收敛，事实上，有时会在最小值点附近震荡，不过通常情况下足以满足精度要求）。

2.3. 线性回归的闭式解（解析解）

将训练集样本用矩阵的形式表示：
$$X=\left[\begin{array}{c}{\left(x^{(1)}\right)}^T\\ {\left(x^{(2)}\right)}^T\\ ⋮\\ {\left(x^{(m)}\right)}^T\end{array}\right]\text{\hspace{1em}(2-6)}$$

$$y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right]\text{\hspace{1em}(2-7)}$$
其中$X$是所有样本的特征组成的$m\times (n+1)$维矩阵，$y$是所有样本的对应标签组成的$m$维向量。
代价函数可表示为：
$$\begin{array}{rl}J(\theta )& =\frac{1}{2}\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2\\ & =\frac{1}{2}(X\theta -y{)}^T(X\theta -y)\end{array}\text{\hspace{1em}(2-7)}$$
利用矩阵求导的一些知识不难求得：
$${\nabla }_{\theta }J(\theta )=X^{T}X\theta -X^{T}y\text{\hspace{1em}(2-8)}$$
为了让$J$最小，应该使得其导数为零，因此可以得到：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y\text{\hspace{1em}(2-9)}$$
(2-9)需要对矩阵求运算开销比较大，实际中一般不采用逆

3. 线性回归模型的假设

线性回归模型的成立需要满足一下几条假设：
线性假设：
$$Y_i={\beta }_0+{\beta }_{1}X+{ϵ}_i\text{\hspace{1em}(3-1)}$$
即自变量$X$每增加一个单位对$Y$的影响都是一样的（$Y$的值增加${\beta }_1$）.
误差项$ϵ$是一个服从正态分布、期望为零、方差为${\delta }^2$的随机变量:
$$E({ϵ}_i)=0\text{\hspace{1em}(3-1)}$$
$$Var({ϵ}_i)={\delta }^2$$
$$Cov({ϵ}_i,{ϵ}_j)=0$$
$${ϵ}_{i}Normal$$
（即$ϵ$和$X$不相关）