《统计学习方法》-李航、《机器学习-西瓜书》-周志华总结+Python代码连载(二)--线性模型(Linear model)
一、线性回归(Linearregression)线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记,用公式表达为:,使得。那么怎么求得w,b呢?基本使用最小二乘法和梯度下降。最小二乘法:最小化均方差函数(本连载一中有相关解释)。梯度下降:是一种迭代算法。选取适当的初值,不断迭代,更新参数值,进行目标函数的极小化,直到收敛。由于负梯度方向是使函数值下降最快的方向,在迭代的每一步,以负梯度方向