【论文研读】 两篇公众号文章；Test-Time Training；超分Domain Adaptive

测试集没有标签，我们可以拿来测试模型吗？

Paper Link：https://arxiv.org/abs/2007.02915

• 重点研究自动模型评估（AutoEval）这一重要的且尚未开发的问题。具体来说，给定带标签的训练集和分类器，我们需要估计出分类器在未标记的测试数据集上的分类准确性。
• 方法的出发点：测试集合和训练集合数据分布差异越大，那么分类器在测试集合上的准确率就会越低。
• 采用回归模型：输入为一个测试集与数据分布差异相关的特征（如均值和协方差），输出为分类器在其上的准确率。
• 构造元数据集合（meta dataset, 数据集组成的数据集）。对其图像使用图像转换（例如旋转，自动对比度，平移）和背景更改。使用不同的变换和背景，我们可以生成许多不同的样本集。

 

NeurIPS 2020 | 聚焦自监督学习

四篇来自 NeurIPS 2020 和对比学习相关的文章

• 学习 category-level 的不变性表示
• 通过在特征空间进行 mixup 的方式产生更难的负样本
• 在没有 label 的情况下，尽可能减少负样本中的 false negative samples
• 将 anchor 进行数据增强得到的 image 作为负例来提升 OOD 检测性能

 

Test-Time Training with Self-Supervision for Generalization under Distribution Shifts （ECCV2020）

Abs：We turn a single unlabeled test sample into a self-supervised learning problem, on which we update the model parameters before making a prediction. This also extends naturally to data in an online stream.

idea：

1. 一个Y型网络结构，主网络加分类任务分支和self-supervised分支；
2. 训练阶段：Losses for both tasks are added together, and gradients are taken for the collection of all parameters.
3. 测试阶段：test sample先进行自监督的一个参数更新，再输出分类预测值。同样适用于online training

 

Domain Adaptive Relational Reasoning for 3D  Multi-Organ Segmentation（arxiv）

Author：Shuhao Fu (JHU)

问题：解决 difffferent scanners and/or protocols (domains) 之间的偏差

方法：用一个generator network from [23] with the subpixel upsampling method as our super-resolution module。把图像全部upsample到一个超分辨率上