常用损失函数

hinge_loss

$$L(y,\hat{y})=max(0,1-y\hat{y})\text{\hspace{1em}(1-1)}$$
where $y\in \{-1,1\},\hat{y}\in R$.

• 当 $y,\hat{y}$ 同号且 $|\hat{y}|>1$, loss=0
• 当二者异号 或 同号但 $|\hat{y}|<1$时, loss >0, 依然认为没有达到足够的间隔.

变种

在实际应用中，一方面，预测值$\hat{y}$并不总是属于[-1,1]，也可能属于其他的取值范围；另一方面，很多时候我们希望训练的是两个元素之间的相似关系，而非样本的类别得分。所以pair-wise ranking 情况下, 下面的公式可能会更加常用：

$$L(y,\hat{y})=max(0,margin+\widehat{y^{-}}-\widehat{y^{+}})\text{\hspace{1em}(1-2)}$$

cross_entropy

tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_)
A common use case is to have logits and labels of shape [batch_size, num_classes], but higher dimensions are supported.
labels可以不是one-hot而是一个valid probability distribution.

square loss