线性回归(待续)

线性回归的模型函数和损失函数

1657318876.jpg
线性回归.png
脊回归.png
ridgeregression.png

ridge regression,对w做2范式约束,就是把解约束在一个l2-ball里面,放缩是对球的半径放缩,因此w的每一个维度都在以同一个系数放缩,通过放缩不会产生稀疏的解——即某些w的维度是0

岭回归.png

坐标轴下降法(coordinate descent)和最小角回归法( Least Angle Regression, LARS)见Lasso回归算法: 坐标轴下降法与最小角回归法小结
最小角回归(least angle regression) 的一点记录
机器学习方法:回归(三):最小角回归Least Angle Regression(LARS),forward stagewise selection
机器学习方法:回归(二):稀疏与正则约束ridge regression,Lasso

参考文献

线性回归原理小结

Lasso回归算法: 坐标轴下降法与最小角回归法小结

你可能感兴趣的:(线性回归(待续))