Andrew Ng ML(4)——过拟合&正则化


  • overfitting(过拟合)

特征过多会导致过拟合(或者说训练样本太少)
线性回归中的过拟合
逻辑回归中的过拟合
Q:如何解决过拟合?
1.减少特征(人工或者用算法)2.正则化(可以保留所有特征)
  • 正则化

    overview:
    加入惩罚项(其实就是使某些θ趋于0)解决过拟合问题(使h函数图形更加平滑)
Q:实际运用中,不清楚需要对哪些进行正则化,怎么办?
对所有θ正则化(除θ_0(Ng说这个是习惯))

Ng给出的示例中正则化参数,但是取值过大会导致欠拟合(偏见性很强)

λ取值过大会导致θ1~θn均趋于0,而使假设函数h变成一条直线

  • 线性回归的正规化

P.S.需要对做特殊处理(由于没有对θ_0做正规化)

  • 正规方程的正则化
    P.S.当>0时可以解决不可逆的问题

你可能感兴趣的:(Andrew Ng ML(4)——过拟合&正则化)