论文解读:Multi-level Domain Adaptive learning for Cross-Domain Detection

论文题目:Multi-level Domain Adaptive learning for Cross-Domain Detection(Task-CV workshop ICCV2019)

论文主要贡献:已有的目标检测自适应方法主要基于全局的特征自适应,没有考虑局部特征自适应(其实是不对的,现有的检测自适应方法有基于全局的,也有局部和实例的特征自适应,分割和分类主要是全局自适应),因此本论文提出多multi-level多层次的自适应方法,同时考虑对齐全局和局部特征;

论文网络结构:

论文解读:Multi-level Domain Adaptive learning for Cross-Domain Detection_第1张图片

论文其实主要是结合strong-weak和DA in the wild的两篇论文,instance DA和instance DA和global DA之间的consistency是DA in the wild论文中提出的,而DA in the wild中的global DA这里替换成了Strong-weak论文中的全局对齐的方式,主要是采用Focal loss,因为strong-weak论文中说全局特征不需要强对齐,源域和目标域差别很大时,判别器容易区分,相当于简单样本,而源域和目标域的差别很小时,判别器难以区分,相当于难样本,因此采用focal loss,平衡难易样本的loss,local DA和strong-weak中也是一样的,采用patch loss,即特征经过判别器输出的是patch图,每一个patch相当于输入特征的一个区域(也就是patchGan的判别思想,global DA输出是一维数字),而本文主要是多加了几个相同的local DA,构成multi-level的判别,local-DA需要强判别,因为local DA主要是图像的low-level特征,当梯度反传时,越low-level的特征梯度反传收到的影响越小,因此需要在low-level的特征处加上多个强判别器,约束low-level的特征同时,也变相减轻了global DA的对齐难度,每一个DA模块也是用的GRL;

具体训练过程:

论文解读:Multi-level Domain Adaptive learning for Cross-Domain Detection_第2张图片

主要是将imagenet上预训练的VGG-16的backbone的faster-rcnn以本文算法fine-tuning了10个epoch;

图像短边缩放到600pix;

实验结果:

三个实验:Cityscapes and Foggy Cityscapes(Adverse Weather Adaptation);SIM 10k and  Cityscapes(Synthetic Data Adaptation);KITTI and  Cityscapes(Cross Camera Adaptation)

论文解读:Multi-level Domain Adaptive learning for Cross-Domain Detection_第3张图片

论文解读:Multi-level Domain Adaptive learning for Cross-Domain Detection_第4张图片

论文解读:Multi-level Domain Adaptive learning for Cross-Domain Detection_第5张图片

结果可视化:

论文解读:Multi-level Domain Adaptive learning for Cross-Domain Detection_第6张图片

可以看到,本文方法降低了误分类,truck正确识别成bus,也降低了第一行的DA model的一些假阳;第一行降低了漏检;

总体来说,还是有效果的;

你可能感兴趣的:(目标检测,域自适应)