预测数值型数据:回归

回归是一种监督学习,监督学习指的是有目标变量或预测目标的机器学习方法。
回归与分类的不同,就在于其目标变量是连续数值型。

用线性回归找到最佳拟合直线

  • y = ax1 + bx2 + c类似这种形式的就是回归方程
  • 求回归系数的过程就是回归(如上就是求a、b、c)
  • 可以用最小二乘法(OLS):追求均方差最小

局部加权线性回归(LWLR)

  • 使用核函数来对附近的点赋予更高的权限
  • 选取合适的平滑值,拟合出来的就是类似曲线,但要注意由于考虑了太多噪声会可能过拟合。
image.png

缩减法

  • 适用于数据的特征比样本点还多的情况
  • 特征点比样本点多的情况下,会使得矩阵不是满秩矩阵,无法求逆。
  • 岭回归是一种缩减方法,公式如下:


    image.png

你可能感兴趣的:(预测数值型数据:回归)