损失函数

今天看一篇论文时,碰到hinge loss,不知道是个什么东西,于是上网查了下,找到了一篇介绍loss function的英文文献(http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf),还不错,于是决定翻译下,方便以后用。在这之前,先解释下损失函数吧,在统计学,统计决策理论和经济学中,损失函数是指一种将一个事件(在一个样本空间中的一个元素)映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。由此可以看出,损失函数达到最小值时,成本最小。

1.损失函数的形式定义

损失函数_第1张图片
由式(14.1)可知损失函数包括两部分:损失项和正则项

2.损失项

损失项有五种计算方法

(1)0-1 loss
这里写图片描述
(2) hinge loss
损失函数_第2张图片
(3)log loss
损失函数_第3张图片
(4)squared loss

这里写图片描述

(5)Boosting
这里写图片描述

3.正则项

下面介绍几种比较有用的正则项这里写图片描述(式14.1的后部分)
损失函数_第4张图片

你可能感兴趣的:(损失函数)