Circle Loss: A Unified Perspective of Pair Similarity Optimization简要阅读笔记

1.背景

常见的分类损失函数可以概括为减小类内距离$s_n$，增大类间距离$s_p$。优化目标如下：
$$min(s_n-s_p)$$

2.存在的问题

• 优化不够灵活。
  优化目标对$s_n$和$s_p$的惩罚作用是相等的，二者的系数都为1。
  例如$\{s_n,s_p\}=\{0.1,0.5\}$。这个时候类内距离$s_n=0.1$，接近0，模型已经能够很好的将相同的类聚在一起。但由于此时$s_p=0.5$，受$s_p$的牵累，$s_n$依然会接受一个较大的惩罚梯度。
• 收敛状态模糊。
  记$margin=s_n-s_p$
  考虑两个状态。$T=\{s_n,s_p\}=\{0.2,0.5\}$,$T^1=\{0.4,0.7\}$虽然$T$和$T^1$收敛状态是一样的，$margin$都是0.3，但此时0.5和0.4已经十分接近，即$T$时候的类间距离和$T^1$时候的类内距离是差不多的，这种收敛状态会破坏特征空间的可分离性（不同类间的边界相互耦合，不够清晰）。

3.动机

针对上述两个challenge，给$s_n$ 和 $s_p$加上不同的惩罚系数，优化目标变为：
$$min(\alpha \ast s_n-\beta \ast s_p)$$

ps:决策边界从常见方法的直线变为本文方法的环形，故取名为circle loss。

4.个人感受

额外引入了两个超参，性能一般，