机器学习——线性回归及代码实现

一、基本形式：

给定由 d 个属性描述的实例，其中 是 在第 个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即：，
一般用向量形式写成：，其中 ，
和 的值确定之后，模型就可以随之确定。

二、线性回归：

给定数据集 ,
其中 “线性回归”(linear regression)试图以尽可能准确地预测实值输出标记。
线性回归试图学得
而如何确定 和 ，关键在于如何衡量 与 之间的差别。
当均方误差最小化（最小二乘法）时，上述两者之间的差别最小，即可求得线性回归函数。
找到一条直线，使得所有样本到直线上的欧式距离之和最小。

分别令上述式子对 和 的偏导为0，可得到 和 的最优解为:

其中， 为 的均值。

---

当然，我们遇见的更一般的情况是数据集中的样本由多个属性描述，此时我们试图学得这种情况称之为多元线性回归。
类似的，可以用最小二乘法来对 和 进行估计，为方便，将 和 吸收入向量形式 ,相应地把数据集表示成一个 的矩阵 ,其中每一行对应一个示例，该行的前 个元素对应于 个属性值，最后一个元素恒置为1，即：

再把标记也写成向量形式 ,故有：

使的偏导为0即可求得最优解。具体步骤略。

最终学得的多元线性回归模型为：。

三、代码实现及例子：

以下为线性模型的 Python 代码实现

import numpy as np
import matplotlib.pyplot as plt
"""
利用 Python 实现线性回归模型
"""
class LinerRegressionModel(object):
    def __init__(self, data):
        self.data = data
        self.x = data[:, 0]
        self.y = data[:, 1]

    def log(self, a, b):
        print("计算出的线性回归函数为:\ny = {:.5f}x + {:.5f}".format(a, b))

    def plt(self, a, b):
        plt.plot(self.x, self.y, 'o', label='data', markersize=10)
        plt.plot(self.x, a * self.x + b, 'r', label='line')
        plt.legend()
        plt.show()

    def least_square_method(self):
        """
        最小二乘法的实现
        """
        def calc_ab(x, y):
            sum_x, sum_y, sum_xy, sum_xx = 0, 0, 0, 0
            n = len(x)
            for i in range(0, n):
                sum_x += x[i]
                sum_y += y[i]
                sum_xy += x[i] * y[i]
                sum_xx += x[i]**2
            a = (sum_xy - (1/n) * (sum_x * sum_y)) / (sum_xx - (1/n) * sum_x**2)
            b = sum_y/n - a * sum_x/n
            return a, b
        a, b = calc_ab(self.x, self.y)
        self.log(a, b)
        self.plt(a, b)


data = np.array([[1, 2.5], [2, 3.3], [2.5, 3.8],[3, 4.5], [4, 5.7], [5, 6]])
model = LinerRegressionModel(data)
model.least_square_method()

最终输出结果为:

---

sklearn 中也带有线性回归的代码模块。

sklearn.linear_model中的LinearRegression可实现线性回归
• LinearRegression 的构造方法：
• LinearRegression(
fit_intercept=True, #默认值为 True，表示 计算随机变量，False 表示不计算随机变量
normalize=False, #默认值为 False，表示在回归前是否对回归因子X进行归一化True 表示是 ,
copy_X=True
)

LinearRegression 的常用方法有：
• decision_function(X) #返回 X 的预测值 y
• fit(X,y[,n_jobs]) #拟合模型
• get_params([deep]) #获取 LinearRegression 构造方法的参数信息
• predict(X) #求预测值 #同 decision_function

例子：波士顿房价的线性关系。

from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt

"""
线性回归
"""
# 1.获取数据
boston = load_boston()  # 获取波士顿房价的数据
x = boston.data[:, 5:6]  # 取数据第五列为 x 的值
y = boston.target  # 取 y 值

# 2.训练模型
model2 = LinearRegression().fit(x, y)

# 3.模型预测
pre = model2.predict(x)

# 4.绘制结果
plt.scatter(x, y, color='red')
plt.plot(x, pre)
plt.show()
plt.close()

输出结果为:

菜鸡！