sklearn 使用最小二乘法

sklearn 使用最小二乘法

一. 说明:

sklearn中最小二乘法，拟合的直线是特征的线性组合:

$$\hat{y}(w,x)=w_0+w_1{x}_1+...+w_p{x}_p$$

损失函数定义:

$$w=(w_1,...,w_p{)}^T$$

$$Xw=\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& ...& x_{np}\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_p\end{array}\right]$$

$$lossfunction=\underset{w}{\min }||Xw-y|{|}_2^2$$

二. 举例使用

❗️ sklearn 中 $(w_1,...,w_p)$ 作为 coef_ ， $w_0$ 作为 intercept_

# 最小二乘法用于sklearn中的线性回归,引入它。
from sklearn import linear_model
reg = linear_model.LinearRegression()

def foo(x1,x2): # w0 = 5, w1 = 2, w2 = 3
    return 2 * x1 + 3 * x2 + 5

"""生成测试数据 X,y
X 10行2列
y 10行1列
"""
X = [[i,(i+1)/2] for i in range(10)]
y = [foo(i,(i+1)/2) for i in range(10)]

# 根据参数拟合直线
reg.fit(X,y)

# 输出 w1,w2 = [2.8, 1.4]
print(reg.coef_)

# 输出 w0 = 5.8
print(reg.intercept_)

"""
    拟合直线: y = 2.8 * x1 + 1.4 * x2 + 5.8
"""

#  用生成的直线进行预测
print(reg.predict(X))