机器学习损失函数总结——SVM、朴素贝叶斯、HMM、AdaBoost、EM

损失函数总结(适用算法)

1. 对数损失函数 （朴素贝叶斯，EM，HMM）

L(Y , P(Y | X)) = -log P(Y | X)

2. 平方损失函数（最小二乘法）

L(y , f(x)) = 〖(y – f(x))〗^2

3. 指数损失函数（AdaBoost）

L(y , f(x)) = exp[-yf(x)]

4. 合页损失函数（svm）

L(y(wx+b)) = [1-y(wx+b)]+
[z]+ = z if z>0 else 0

5. 0-1损失函数

L(y , f(x)) = 1 if y ≠f(x) else y=f(x)

6. 交叉熵损失函数

L(y ̂,y)=-(ylog(y ̂ )+(1-y)log⁡(1-y ̂ ))