各机器学习模型的损失函数

1、目录

2、前言

　　最近被问到一些机器学习模型的损失函数，虽然经常使用，竟然记得不怎么准确，今天来梳理复习一下。后续继续补充。

3、模型

1）感知机

　　感知机就是求出一个超平面，划分正负样本集。损失函数就是所有误分点到超平面的总距离：
　　

−1||w||∑xi∈Myi(w⋅xi+b) − 1 | | w | | ∑ x i ∈ M y i ( w ⋅ x i + b )

2）SVM

　　SVM俗称支持向量机，其损失函数由两部分组成：“经验损失函数”和“正则化项”。
　　

minw,b∑i=1N[1−yi(w⋅xi+b)]++λ∥w∥2 min w , b ∑ i = 1 N [ 1 − y i ( w ⋅ x i + b ) ] + + λ ‖ w ‖ 2

　　其中，经验损失函数也可以称为合页损失函数（hinge loss function)，下标“+”表示取正值的函数。

3）LR

　　LR俗称逻辑回归，其损失函数就是对数似然函数。假设 P(Y=1|x)=π(x) P ( Y = 1 | x ) = π ( x ) ， P(Y=0|x)=1−π(x) P ( Y = 0 | x ) = 1 − π ( x ) ，那么似然函数就是 ∏i=1N[π(xi)]yi[1−π(xi)]1−yi ∏ i = 1 N [ π ( x i ) ] y i [ 1 − π ( x i ) ] 1 − y i ，因此损失函数就是：
　　

L(w)=∑i=1N[yilogπ(xi)+(1−yi)log(1−π(xi))] L ( w ) = ∑ i = 1 N [ y i l o g π ( x i ) + ( 1 − y i ) l o g ( 1 − π ( x i ) ) ]

　　

=∑i=1N[yi(w⋅xi)−log(1+exp(w⋅xi)] = ∑ i = 1 N [ y i ( w ⋅ x i ) − l o g ( 1 + e x p ( w ⋅ x i ) ]