极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-un

极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks

本文提出一种Lovasz-Softmax loss，专门正对分割任务的评价指标IoU进行优化设计。由于本文涉及到的数学概念超出所学知识，因此本篇笔记偏向于计算过程的介绍。

记网络预测结果$y$和标注$y^{\ast }$，IoU评价指标的计算为（又名Jaccard index）：
$$J_c(y^{\ast },y)=\frac{|\{y^{\ast }=c\}\cap \{y=c\}|}{|\{y^{\ast }=c\}\cup \{y=c\}|}$$
Jaccard loss可以定义为：
$${△}_{J_c}(y^{\ast },y)=1-J_c(y^{\ast },y)$$
上式可以改写成：
$$M_c(y^{\ast },y)=\{y^{\ast }=c,y̸=c\}\cup \{y^{\ast }̸=c,y=c\}$$
$${△}_{J_c}:M_c\in \{0,1{\}}^p\mapsto \frac{|M_c|}{\{y^{\ast }=c\}\cup M_c}$$
接下来开始讲重头戏：

1. Jaccard loss满足子模函数的性质，但它目前只适用于离散情况的计算，如果网络预测结果是连续的则经过离散化会导致不可导。因此Jaccard loss无法直接接在网络后面；
2. 因为是子模函数，所以可以对其进行Lovasz extension，使其可导且输入空间从离散的$\{0,1{\}}^p$变成连续的$R^p$，其输出值与原函数在 $\{0,1{\}}^p$ 上的输出值保持相等，并具有凸性，优化方向保持一致。扩展公式如下(文章中第二个公式表述不清楚，这里是按照自己的理解进行的改写)：
   $$\overline{△}:m\in R^p\mapsto \sum _{i=1}^p{m}_i{g}_i(m)$$
   $$g_i(m)=△(\{y_{{\pi }_1}^{\ast },y_{{\pi }_2}^{\ast },...,y_{{\pi }_i}^{\ast }\})-△(\{y_{{\pi }_1}^{\ast },y_{{\pi }_2}^{\ast },...,y_{{\pi }_{i-1}}^{\ast }\})$$
3. Lovasz extension ${\overline{△}}_{J_c}$相当于是把原子模函数的输出值作为基进行插值，$g_i(m)$就是那些基。这些基的计算就是在ground truth中取一部分作为预测结果（其余不预测，没有包含在预测的集合里面，在后续算Jaccard Loss时候两个集合的大小是不一致的）
   Lovasz softmax的具体计算过程如下，这部分看不懂建议看作者源码：
   
   
   

作者在github答疑时表示由于该Lovasz softmax优化针对的是image-level mIoU，因此较小的batchsize训练对常用的dataset-level mIoU的性能表现会有损害。以及该loss适用于finetuning过程。有网友将该loss与CELoss加权训练取得了超出CELoss性能的结果。

文章代码已经公布（包含pytorch版本和TF版本）：https://github.com/bermanmaxim/LovaszSoftmax
关于子模函数和Lovasz extension的知识点可以参考：https://sudeepraja.github.io/Submodular/