机器学习之线性回归原理与Python实现

线性回归

线性回归研究自变量（X）和因变量（Y）之间的关系。其中自变量和因变量满足线性关系。
本章节主要内容是线性回归的原理和实现。

1.线性回归原理

1.1一个例子开始

设X和Y满足以下多元一次方程关系：
$$x_{11}{w}_1+x_{12}{w}_2+x_{13}{w}_3+...+x_{1j}{w}_j+...+x_{1m}{w}_m+b={\hat{y}}_1$$

$$x_{21}{w}_1+x_{22}{w}_2+x_{23}{w}_3+...+x_{2j}{w}_j+...+x_{2m}{w}_m+b={\hat{y}}_2$$

$$x_{31}{w}_1+x_{32}{w}_2+x_{33}{w}_3+...+x_{3j}{w}_j+...+x_{3m}{w}_m+b={\hat{y}}_3$$

$$...$$

$$x_{n1}{w}_1+x_{n2}{w}_2+x_{n3}{w}_3+...+x_{nj}{w}_j+...+x_{nm}{w}_m+b={\hat{y}}_n$$

其中$x_{ij}$代表地第$i$个样本的第$j$个特征值，$y_i$代表第$i$个样本的预测结果,$w$和$b$是参数，样本数总共为n个，每个样本的特征数量为m。
为方便起见，记

$$x_i=[x_{i1},x_{i2},x_{i3},...,x_{im}]$$

$$w={[w_1,w_2,w_3,...,w_m]}^T$$

则对于每一组样本有：

$${\hat{y}}_i=x_{i}w+b$$

1.2求解参数

记$y_i$为第$i$个样本的实际观测值，${\hat{y}}_i$为第$i$个样本的预测值，
$${ϵ}_i=y_i-{\hat{y}}_i$$代表第$i$个样本的预测误差

假设预测误差服从高斯分布：

$$p({ϵ}_i)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{ϵ}^2}{2{\sigma }^2})$$

则：
$$p(y_i|x_i;w,b)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{(x_{i}w+b-y_i)}^2}{2{\sigma }^2})$$
对所有样本进行最大似然估计：
$$L(y|x;w,b)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{(x_{i}w+b-y_i)}^2}{2{\sigma }^2})$$

此处可以这样理解预测误差的最大似然：
1.高斯分布表示了在横坐标（预测误差）值为0的中间位置纵坐标（概率值）越大，且距离中间位置越远，概率值越小；
2.最大似然估计趋向于总体样本的概率值大的方向，也就是趋向于预测误差为零的方向。

为了方便计算，取最大似然估计的对数：
$$\log L(y|x;w,b)=\log \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{(x_{i}w+b-y_i)}^2}{2{\sigma }^2})$$

$$\begin{array}{rl}\log L(y|x;w,b)& =\log \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{(x_{i}w+b-y_i)}^2}{2{\sigma }^2})\\ & =\sum _{i=1}^n\log \frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{(x_{i}w+b-y_i)}^2}{2{\sigma }^2})\\ & =n\log \frac{1}{\sqrt{2\pi }\sigma }+\sum _{i=1}^n(-\frac{{(x_{i}w+b-y_i)}^2}{2{\sigma }^2})\\ & =n\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(x_{i}w+b-y_i)}^2\end{array}$$

我们依据最大似然估计想要得到的是：

$$\max \log L(y|x;w,b)$$

由于$$n\log \frac{1}{\sqrt{2\pi }\sigma }$$是常数
且$$\frac{1}{{\sigma }^2}$$也是常数，所以原式等价于：

$$\min J(w,b)=\frac{1}{2}\sum _{i=1}^n{(x_{i}w+b-y_i)}^2\text{\hspace{1em}(1)}$$

公式（1）也是损失函数，线型模型的损失函数也就是均方误差。

参数是$w$和$b$,对参数进行求导：

$$\frac{\partial J(w,b)}{\partial w_j}=\sum _{i=1}^n(x_{i}w+b-y_i)x_{ij}\text{\hspace{1em}(2)}$$

$$\frac{\partial J(w,b)}{\partial b}=\sum _{i=1}^n(x_{i}w+b-y_i)\text{\hspace{1em}(3)}$$

可以用梯度下降法进行对$w$和$b$进行求解：
$$w_j=w_j-\alpha \sum _{i=1}^n(x_{i}w+b-y_i)x_{ij}$$
$$b=b-\alpha \sum _{i=1}^n(x_{i}w+b-y_i)$$

也可以随机梯度下降法(SGD)：
for i=1 to n:
$$w_j=w_j-\alpha (x_{i}w+b-y_i)x_{ij}$$
$$b=b-\alpha (x_{i}w+b-y_i)$$
当然也可以用批量随机梯度下降法，即循环多次，每次从样本中随机取出一部分样本迭代参数。上式中$\alpha$为学习率。

2.线性回归的代码实现

线性回归模型实现

import numpy as np


class MyLinearRegression(object):
    def __init__(self, lr=0.01, n_epoch=50):
        """
        线型回归模型，通过随机梯度下降法实现
        :param lr: 学习率，默认值0.01
        :param n_epoch: 训练循环次数，默认值50
        """
        self.lr = lr
        self.n_epoch = n_epoch
        self.params = {'w': None, 'b': 0}

    def __init_params(self, m):
        """
        初始化参数，正态分布
        :param m: 特征维度数，和w的个数相对应
        :return: None
        """
        self.params['w'] = np.random.randn(m)

    def fit(self, X, y):
        """
        训练模型，随机梯度下降法训练模型
        w_j = w_j - lr * (x_i @ w - y_i) * x_ij
        b = b - lr * (x_i @ w - y_i)
        :param X: 训练数据X，shape(n, m), n代表训练样本个数,m代表每个样本的特征维度数
        :param y: 训练数据y, shape(n)
        :return: None
        """
        X = np.array(X)
        # n 样本数量, m 一个样本的特征维度数量
        n, m = X.shape
        self.__init_params(m)

        for _ in range(self.n_epoch):
            for x_i, y_i in zip(X, y):
                for j in range(m):
                    self.params['w'][j] = self.params['w'][j] - self.lr * (np.dot(x_i, self.params['w'].T) + self.params['b'] - y_i) * x_i[j]
                self.params['b'] = self.params['b'] - self.lr * (np.dot(x_i, self.params['w'].T) + self.params['b'] - y_i)

    def predict(self, X):
        """
        预测模型结果
        :param X: 二维数据，shape(n,m),n代表个数，m代表单个样本的维度数
        :return: y shape(n), 预测结果
        """
        return np.dot(X, self.params['w'].T) + self.params['b']

验证结果，首先生成测试样本：

def get_samples(n_ex=100, n_classes=100, n_in=1, seed=0):
    # 生成100个样本，为了能够在二维平面上画出图线表示出来，每个样本的特征维度设置为1
    from sklearn.datasets.samples_generator import make_blobs
    from sklearn.model_selection import train_test_split
    X, y = make_blobs(
        n_samples=n_ex, centers=n_classes, n_features=n_in, random_state=seed
    )
    X_train, X_test, y_train, y_test = train_test_split(
        X, y, test_size=0.3, random_state=seed
    )
    return X_train, y_train, X_test, y_test

运行模型并画图观察效果：

def run_my_model():
    from matplotlib import pyplot as plt
    my = MyLinearRegression()
    X_train, y_train, X_test, y_test = get_samples()
    my.fit(X_train, y_train)
    params = my.params
    w = params['w'][0]
    b = params['b']
    x_list = [i for i in range(-10, 10)]
    y_list = [w * x + b for x in x_list]
    plt.plot(x_list, y_list)
    plt.scatter(X_train, y_train)
    plt.show()

    y_pred = my.predict(X_test)
    print(y_pred, y_test)