岭回归(Ridge Regression)

岭回归出现的原因:

为了求得参数w,也可以不用迭代的方法(比如梯度下降法对同一批数据一直迭代,可以采用标准方程法一次性就算出了w = (XTX)-1XTy ,但是如果数据的特征比样本点还多,则计算(XTX)-1就会出错,因为(XTX)不是满秩矩阵(有些行可能全是0),所以不可逆,为了解决这个问题,引入了岭回归的概念:
岭回归(Ridge Regression)_第1张图片
岭回归(Ridge Regression)_第2张图片
岭回归最早是为了处理特征多于数据的情况,现在也用于在估计中加入偏差,从未得到更好的估计,同时也可以解决多重共线性的问题,是一种有偏估计,没有正则项就是一个无偏估计
岭回归(Ridge Regression)_第3张图片
岭回归(Ridge Regression)_第4张图片

你可能感兴趣的:(机器学习,回归,机器学习,算法)