机器学习的损失函数 loss function

机器学习的损失函数 loss function

@(deepLearning)

loss function:

• 作为优化的目标的函数，又称为代价函数(cost function)。
  
  L=∑i=0n−1ℓ(yi,yi^) L = ∑ i = 0 n − 1 ℓ ( y i , y i ^ )

1.常见的损失函数

• 1)交叉熵(cross entropy)：如在逻辑回归LR。
  
  ℓ(yi,yi^)=−yi⋅logyi^−(1−yi)⋅log(1−yi^),yi∈{0,1} ℓ ( y i , y i ^ ) = − y i ⋅ l o g y i ^ − ( 1 − y i ) ⋅ l o g ( 1 − y i ^ ) , y i ∈ { 0 , 1 }
• 2)平方误差(square loss)：常用于回归。
  
  ℓ(yi,yi^)=(yi−yi^)2 ℓ ( y i , y i ^ ) = ( y i − y i ^ ) 2
• 3)指数误差(exponential loss)：常用于boosting算法。
  
  ℓ(yi,yi^)=e−yi⋅yi^,yi∈{−1,1} ℓ ( y i , y i ^ ) = e − y i ⋅ y i ^ , y i ∈ { − 1 , 1 }
• 4)逻辑误差(logistic loss)：
  
  ℓ(yi,yi^)=log(1+e−yi⋅yi^) ℓ ( y i , y i ^ ) = l o g ( 1 + e − y i ⋅ y i ^ )
• 5)正则项(regularization)：
  
  L=∑i=0n−1ℓ(yi,yi^)+λ⋅R(ω) L = ∑ i = 0 n − 1 ℓ ( y i , y i ^ ) + λ ⋅ R ( ω )
  
  
  • L1正则化
  • L2正则化