Huber Regression(Huber回归)

Huber回归未忽略掉outlier,对oulier的采用线性损失,从而相对地降低了outlier的权重,最终降低了outlier对回归结果的影响。1相对地降低了outlier的权重是相对于MSE而言的,因为MSE采用平方,而Huber损失采用的是线性损失。2

Huber回归的优化目标函数如下1
min ⁡ w , σ ∑ i = 1 n ( σ + H ϵ ( X i w − y i σ ) σ ) + α ∥ w ∥ 2 2 \min _{w, \sigma} \sum_{i=1}^{n}\left(\sigma+H_{\epsilon}\left(\frac{X_{i} w-y_{i}}{\sigma}\right) \sigma\right)+\alpha\|w\|_{2}^{2} w,σmini=1n(σ+Hϵ(σXiwyi)σ)+αw22
其中: H ϵ ( z ) = { z 2 ,  if  ∣ z ∣ < ϵ 2 ϵ ∣ z ∣ − ϵ 2 ,  otherwise  H_{\epsilon}(z)=\left\{\begin{array}{ll}{z^{2},} & {\text { if }|z|<\epsilon} \\ {2 \epsilon|z|-\epsilon^{2},} & {\text { otherwise }}\end{array}\right. Hϵ(z)={z2,2ϵzϵ2, if z<ϵ otherwise 


  1. https://scikit-learn.org/stable/modules/linear_model.html#huber-regression ↩︎ ↩︎

  2. 大数据文摘@机器学习大牛最常用的5个回归损失函数,你知道几个? ↩︎

你可能感兴趣的:(wiki)