机器学习之线性回归(linear regression)

线性回归 的理念就是通过找到一个方程 y = ∑ an*Gn(x) + b 去拟合我们的训练集。

对于每一个样本点xi， 我们都希望预测值 yi‘ = ∑ an*Gn(xi) + b 与样本的真值 yi 的差距尽量小

通常我们用 yi‘ 和 yi 之间差的平方作为损失函数(Loss function)， 其中 Gn(xi) 是基函数（Basis function）

当我们优化出最小的Loss function以后，我们就能得到最好的模型

这里求最小的Loss function 的办法是通过对每个a 和 b求偏导使得各个偏导数都为0

利用向量法来求解最小二乘的结果

通常我们会把an 和 b写在一起变成 w 权重的向量形式 w = (X⊤X)−1X⊤y （其中 X 为训练集中的所有特征数据矩阵， y为label向量） 这也被称为Normal Equation

当数据的维度非常高时，我们就不会用这种方法去拟合，因为这种算在维度很高的情况下效率偏低，在这种情况下我们会改为使用梯度下降（以后在其他博客中写）

sklearn使用：

from sklearn.linear_model import LinearRegression

lin_reg = LinearRegression()

lin_reg.fit(X_train, y_train)


lin.reg.coef_ #weights

lin_reg.intercept_ 

lin_reg.score(X_test, y_test) #切记我们这里的score不是最小二乘的值 而是R2 score