机器学习—单变量线性回归

单变量线性回归

案例

波士顿房价预测，给出不同面积的房屋价格，预测其它面积的房屋

模型表示

$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$
其中：${\theta }_0$和${\theta }_1$为代求参数

代价函数

$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
其中，m为样本数量。
目标：选择合适的参数，使代价函数降到最低

梯度下降算法

作用：求解函数最小值
思想：开始时，随机选择一组参数组合，然后计算代价函数及其梯度，然后寻找下一个能让代价函数下降最多的参数组合。持续这样做，得到一个局部最小值（选择不同的初始参数组合，可能会找到不同的局部最小值）
公式如下：

$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)forj=0andj=1$$
在进行参数更新的时候，参数要同步更新。
其中，$\alpha$是学习率，决定下降的步长；$\alpha$太小时，梯度下降慢；$\alpha$太大时，梯度下降法可能会越过最低点，导致无法收敛甚至发散。
对线性回归问题运用批量梯度下降算法：
$$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)=\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
$$j=0时：\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$$$$j=1时：\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})\cdot x^{(i)})$$
即：
$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$$ $${\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})\cdot x^{(i)})$$

python实现

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np


# 获取X、y矩阵
def getX(df):
    ones = pd.DataFrame({'ones': np.ones(len(df))})
    data = pd.concat([ones, df], axis=1)
    return data.iloc[:, :-1].values


def gety(df):
    return np.array(df.iloc[:, -1])


# 代价函数
def cost(theta, X, y):
    m = X.shape[0]
    inner = X @ theta - y
    cost = (inner.T @ inner) / (2 * m)
    return cost


# 梯度下降
def gradientDescent(theta, X, y):
    return X.T @ (X @ theta - y) / X.shape[0]


def batchDo(theta, X, y, epoch, learningRate):
    costData = [cost(theta, X, y)]
    for i in range(epoch):
        theta = theta - learningRate * gradientDescent(theta, X, y)
        costData.append(cost(theta, X, y))
    return theta, costData


# 主函数
if __name__ == '__main__':
    # 获取数据并绘图
    data = pd.read_csv('ex1data1.txt', names=['population', 'profit'])
    sns.set(context="notebook", style="white", palette="dark")
    sns.lmplot('population', 'profit', data, height=10, fit_reg=True)
    plt.show()
    # 获取X、y，并随机生产Θ
    X = getX(data)
    y = gety(data)
    theta = np.random.rand(X.shape[1])
    # 梯度下降
    epoch = 800
    learningRate = 0.01
    theta, costData = batchDo(theta, X, y, epoch, learningRate)
    # 绘制代价函数值--迭代次数图
    a = sns.tsplot(costData, np.arange(epoch + 1))
    a.set_xlabel("epoch")
    a.set_ylabel("cost")
    plt.show()
    # 绘制原始数据及回归方程
    plt.scatter(data.population, data.profit, label="Training data")
    plt.plot(data.population, data.population * theta[1] + theta[0], label="Prediction")
    plt.legend(loc=2)
    plt.show()