机器学习1——线性回归

背景介绍

​ 给定一个大小为 $n$ 的数据集 $\{y_i,x_{i1},...,x_{id}{\}}_{i=1}^n$，其中$x_{i1},...,x_{id}$是第 $i$ 个样本 $d$ 个属性上的取值，$y_i$是该样本待预测的目标。线性回归模型假设目标 $y_i$ 可以被属性间的线性组合描述，即:
$$y_i={\omega }_1{x}_{i1}+{\omega }_2{x}_{i2}+\dots +{\omega }_d{x}_{id}+b,i=1,\dots ,n$$
​ 例如，在我们将要建模的房价预测问题里，$x_{ij}$ 是描述房子 $i$ 的各种属性（比如房间的个数、周围学校和医院的个数、交通状况等），而 $y_i$ 是房屋的价格。

​ 初看起来，这个假设实在过于简单了，变量间的真实关系很难是线性的。但由于线性回归模型有形式简单和易于建模分析的优点，它在实际问题中得到了大量的应用。很多经典的统计学习、机器学习书籍也选择对线性模型独立成章重点讲解。

模型介绍

1. 模型推导

为了推导模型，在假设数据满足线性模型条件下，可以设定线性模型如下：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots =\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{T}x=XW$$
​ 其中 $x_1$特征为商品的大小，$x_2$特征为商品的价格。模型假定好后，我们把训练数据代入上面的设定模型中，可以通过模型预测一个样本最终值。
$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$
​ 其中$y^{(i)}$ 表示真实值，$ {\theta}^Tx{(i)}$表示估计值，${\epsilon}^{(i)}$表示真实值与估计值之间的误差

​ 假设训练样本的数据量很大的时候,根据中心极限定律可以得到 $\sum ϵ$ 满足 $(u,{\sigma }^2)$ 高斯分布的；由于方程有截距项 ，故 u =0; 故满足（0，δ²）的高斯分布。

​ 所以 ${ϵ}^{(i)}$的概率分布如下：
$$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{{ϵ}^{(i)}}^2}{2{\sigma }^2})$$
​ 由式（4）得： ${\epsilon}^{(i)} = y^{(i)} - {\theta}^Tx{(i)} $

​ 所以：
$$p(y^i|x^i;\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{y^{(i)}-{\theta }^T{x}^{(i)}}^2}{2{\sigma }^2})$$
​ 如上面可知，对于每一个样本 $x$ ,代入到 式（5）都会得到一个 $y$ 的概率；又因为设定样本是独立同分布的，对其求最大似然函数：
KaTeX parse error: No such environment: eqnarray* at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲*̲}̲ L(\theta) …
​ 对其化简如下 ：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \ell (\theta) …
​ 又因为优化不用考虑定值，令$h_{\theta }(x^{(i)})={\theta }^T{x}^{(i)}$，所以可以简化为对下式的优化：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}){)}^2$$
​ 以上就得到了回归的损失函数最小二乘法的公式，对于好多介绍一般对线性回归的线性损失函数就直接给出了上面的公式二乘法。下面我们就对上面做了阶段性的总结：线性回归，根据大数定律和中心极限定律假定样本无穷大的时候，其真实值和预测值的误差$ϵ$ 的加和服从$(u,{\sigma }^2)$ 的高斯分布且独立同分布，然后把 ${\epsilon}^{(i)} = y^{(i)} - {\theta}^Tx{(i)} $ 代入公式，就可以化简得到线性回归的损失函数。

2. 模型优化

​ 对损失函数进行优化，也就是求出w,b，使的损失函数最小化。

（1）梯度下降的方法

​

梯度下降法：如图可以理解为先假设一定点，然后按一定的步长顺着这个点的梯度进行更新，迭代下去；最后能找到一个局部最优点，使优化函数在这个局部是最小值。

LMS algorithm（也叫Widrow-Hoff learning rule）

​ 由前面可知，优化模型即选择合适的 $\theta$ 使得 $J(\theta )$ 最小化。我们随机初始化 $\theta$ ，用下面的式子对 $\theta$ 进行重复更新。
$${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j},j=0,\dots ,n$$
​ 其中 $\alpha$ 是学习率，也叫步长。表示在 $J$ 下降最陡的方向上前进一步的距离。

​ 其中 $J(\theta )$ 可由式（10）得到，对偏导数部分进行化简。假设现在只有单个训练样本 $(x,y)$ ，则求偏导时， $J(\theta )$ 中的求和符号便可去掉。
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \frac{\partial…
所以对于单个训练样本 $(x,y)$，参数 $\theta$ 的更新规则为：
$${\theta }_j:={\theta }_j-\alpha (y-h_{\theta }(x))x_j$$
由上式可以看出，当误差 $ y-h_{\theta}(x)$ 很小时，没有必要再更新参数 $\theta$ ；相反，当参数改变太大时，意味着预测值与真实值之间的相差比较大。

当训练样本不止一个时，有两种优化方法batch gradient descent和stochastic gradient descent (also incremental gradient descent)

• batch gradient descent

  ---

  Repeat until convergence {

  ​ ${\theta }_j:={\theta }_j-\alpha \sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}))x_j^{(i)}$

  }

  ---

• stochastic gradient descent (also incremental gradient descent)

  Loop {
  for i =1 to m, {

  ​ ${\theta}_j: = {\theta}_j - \alpha (y^{{(i)}-h_{\theta}(x}{(i)}))x_j^{(i)} \qquad $(for every j)

  ​ }
  }

  ---

(2) 正规方程 (The normal equations)

​ 梯度下降的方法用迭代的方式求得 $j(\theta )$ 的最小值，下面介绍一种简明的不需要迭代的方法——正则方程。它通过直接用 $J $ 对 ${\theta }_j$ 求偏导，令其等于0 来优化，而不是由单个训练样本推广。其实就是对矩阵求偏导，需要满足可逆条件。

​ 假设训练样本 $X$ 为 $m\times n$ (actually $m\times n+1$ , if we include the intercept term)，将 $X$ 和 $y$ 保存为如下格式：
$$X=\left[\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ ⋮\\ (x^{(m)}{)}^T\end{array}\right]y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right]$$
​ 注：本文中所有向量均为列向量。

​ 因为 $h_{\theta }(x^{(i)})={(x^{(i)})}^T\theta$ ，所以可以定义：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ X \theta - \ve…
又因为对于列向量向量 $z$, 有 $z^{T}z=\sum _i{z}_i^2$ ，所以：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \frac{1}{2}(\v…
因此：
KaTeX parse error: No such environment: eqnarray at position 8: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \nabla_{\theta…
上面的第三个式子(式26)是因为 实数的迹仍为实数。矩阵求导见矩阵的迹和导数的主要性质。

令 ${\nabla }_{\theta }J(\theta )=0$ ，则 $ X^TX\theta = X^T\vec y . $
$$\Rightarrow \theta =(X^{T}X{)}^{-1}{X}^{T}y$$
​ 以上就是按矩阵方法优化损失函数，但上面方法有一定的局限性，就是要可逆。

###3.Python实现
####(1)代码：

#!/usr/bin/python
# -*- coding:utf-8 -*-
 
import numpy as np
import warnings
from sklearn.exceptions import  ConvergenceWarning
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression,RidgeCV,LassoCV,ElasticNetCV
import matplotlib as mpl
import matplotlib.pyplot as plt
 
if __name__ == "__main__":
 
    warnings.filterwarnings(action='ignore', category=ConvergenceWarning)
    np.random.seed(0)
    np.set_printoptions(linewidth=1000)
    N = 9
    x = np.linspace(0, 6, N) + np.random.randn(N)
    x = np.sort(x)
    y = x**2 - 4*x - 3 + np.random.randn(N)
    x.shape = -1, 1
    y.shape = -1, 1
    p =Pipeline([
        ('poly', PolynomialFeatures()),
        ('linear', LinearRegression(fit_intercept=False))])
    mpl.rcParams['font.sans-serif'] = [u'simHei']
    mpl.rcParams['axes.unicode_minus'] = False
    np.set_printoptions(suppress=True)
    plt.figure(figsize=(8, 6), facecolor='w')
    d_pool = np.arange(1, N, 1)  # 阶
    m = d_pool.size
    clrs = []  # 颜色
    for c in np.linspace(16711680, 255, m):
        clrs.append('#%06x' % c)
    line_width = np.linspace(5, 2, m)
    plt.plot(x, y, 'ro', ms=10, zorder=N)
    for i, d in enumerate(d_pool):
        p.set_params(poly__degree=d)
        p.fit(x, y.ravel())
        lin = p.get_params('linear')['linear']
        output = u'%s：%d阶，系数为：' % (u'线性回归', d)
        print output, lin.coef_.ravel()
        x_hat = np.linspace(x.min(), x.max(), num=100)
        x_hat.shape = -1, 1
        y_hat = p.predict(x_hat)
        s = p.score(x, y)
        z = N - 1 if (d == 2) else 0
        label = u'%d阶，$R^2$=%.3f' % (d, s)
        plt.plot(x_hat, y_hat, color=clrs[i], lw=line_width[i], alpha=0.75,label=label, zorder=z)
        plt.legend(loc='upper left')
        plt.grid(True)
       # plt.title('线性回归', fontsize=18)
        plt.xlabel('X', fontsize=16)
        plt.ylabel('Y', fontsize=16)
    plt.show()

####(2) 实验结果

斯坦福机器学习课程Lecture 1（cs229-notes1）

深入梯度下降(Gradient Descent)算法

线性回归原理和实现基本认识

PaddlePadlle Document