2022/3/3 伪标签论文

---

1. IJCV 2021 基于不确定性的自动阈值 【有代码】

任务：域适应语义分割
该方法属于半监督训练的方式。
思想：
并不是说为每个类设置一个阈值，而是给不同“不确定性”的伪标签样本对应的loss在训练时赋予了不同的权重（参见loss ${\mathcal{L}}_{rect}$）。 衡量的伪标签“不确定性”的指标，是双分类器的预测差异（使用KL散度）。

思考：
论文是关于域适应分割任务的，需要考虑FSL或者零样本中novel类的问题。

参考：

1. 【知乎】IJCV 2021 | 利用Uncertainty修正Domain Adaptation中的伪标签 PS: 留言中有很多细节的讨论，可以多看看。
2. arxive论文 官方版

博客中没提到的点
1.网络设计中，分类器添加了的dropout层，提升了最终性能。
猜测是类似于网络集成的作用。
2.测试时，结合了主分类器和辅助分类器的结果。也是一种信息互补的作用。
3.训练时，不使用source domain的数据。

---

2. ICCV 2021 基于不确定性的训练和打标签 【没代码】

任务：域适应语义分割
伪标签方法的问题

贡献：
该方法属于对抗域适应类的方法。

贡献1. 训练阶段，使用分类的思路来解决目标域的类别不平衡问题。思路是使用预测概率的熵定位不确定性高的类别（稀有类），在采样时提升稀有类的采样概率。但是没有给出计算出采样概率后如何采样每张图片。

贡献2. 测试阶段，利用熵作为不确定性提升伪标签正确率。假设预测的像素概率的熵符合双峰分布。但是高斯混合模型的参数使用EM算法估计并没有讲清楚。

评价
1.没有代码让人头疼。
2.实验很详细，值得参考

reference

1. 论文 Uncertainty-aware Pseudo Label Refinery for Domain Adaptive Semantic Segmentation
2. 补充文件：训练伪代码

---

3. ICLR 2021 基于不确定性的伪标签选择【有代码】

继续卡阈值，但是不仅仅卡正样本还卡负样本。不确定性是用MC Dropout方法得到的。

对于单标签分类，如果存在正的伪标签，用交叉熵loss，如果不存在正的伪标签，用
positive pseudo labels的loss函数：
${\mathcal{L}}_{CE}({\tilde{y}}^{(i)},{\hat{y}}^{(i)},g^{(i)})=-g_c^{(i)}{\tilde{y}}_c^{(i)}log({\hat{y}}_c^{(i)})$
negative pseudo labels的loss函数：
${\mathcal{L}}_{NCE}({\tilde{y}}^{(i)},{\hat{y}}^{(i)},g^{(i)})=-\frac{1}{s^{(i)}}{\sum }_{c=1}^C{g}_c^{(i)}[{\tilde{y}}_c^{(i)}log({\hat{y}}_c^{(i)})+(1-{\tilde{y}}_c^{(i)})log(1-{\hat{y}}_c^{(i)})]$

reference

1. 【知乎】伪标签还能这样用？半监督力作UPS（ICLR 21）大揭秘！

2. 【论文】

3. 【代码】

4. 【报告视频】

5. Q: 如果backbone网络没有dropout的话，如何计算uncertainty？
   A: 可以对当前 batch 数据做 dropout，然后foward. 重复多次，计算均值和方差。
   不太理解这个操作。对数据做dropout，怎么丢弃，丢哪些？
   参考[1]中的讨论部分。

6. uncertainty是怎么计算的？
   参考1中的审稿回复，To calculate this uncertainty measure, we use Monte Carlo sampling and obtain the uncertainty from the standard deviation of multiple stochastic forward passes (see section 4.1 and Appendix C).
   论文中是说计算10次前传结果，求均值和标准差，均值用来算结果，标准差作为uncertainty score。公式如下，参考2中的公式：
   

7. 【response to Reviewer2】

8. 【认知不确定性的量化】

---