VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录

4月12日  上午  第二会场  迁移学习与领域自适应

主持人:杜博——武汉大学

 

题目:Unsupervised and Weakly-supervised Domain Adaptation for Semantic Segmentation

讲者:段立新——电子科技大学

Goal

To apply existing domain knowledge to the learning of a new domain.

Contents

  • Background

Brief introduction to domain adaptation

From recognition to semantic segmentation

  • Domain adaptation for semantic segmentation

Unsupervised setting: No target annotations exist

Weakly-supervised setting: Image-level annotations exist

  • Summary

Background

Domain adaptation目标:将已有的领域知识迁移到另一个领域的学习中。

传统机器学习与领域适应学习分别如下:

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第1张图片

领域自适应学习中的关键问题在于:

  • 数据的分布不同
  • 在目标域中的标签是非常少(甚至没有)

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第2张图片

领域适应解决方法层次:

  • Instance transfer

目标实例之间的迁移,比如将源领域之内的目标标签(同样也可是语义分割标签等)通过领域适应的方法,迁移到目标域中,并将问题转化为了一个完全监督问题来解决。

例如:将GTAV中的标签通过学习、迁移,最终转换到KITTI或者Cityscapes上,获得目标数据的标签,并以此训练网络。

 

  • Feature transfer

学习一个common space,也就是将目标域和源域都进行特征提取,在特征的层面上将两个域进行统一。

 

  • Parameter/model transfer

用一个已经存在的分类器,通过学习一个来实现目标域和源域的迁移。

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第3张图片

Proposed Method

  • Unsupervised Domain Adaptation for Segmentation

由2018ECCV的Zou等人的文章启发,Zou等人使用的是伪标签,LossFunc如下:

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第4张图片

后来出现的2019 Zhang等人方法使用的全池化,池化后得到的结果是场景中可能出现的标签,显式对场景中出现标签进行建模。(没感觉特别有新意?因为感觉Zou的2018ECCV的文章同样可以把这个方法概括进去。感觉这个是上一篇文章的一个特殊情况。同时,这也是2018CVPR的Context-Encoding Network的想法)

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第5张图片

这个作者将上面两个思路结合起来了,LossFunc如下:

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第6张图片

同时,使用了多个尺度下的pooling把特征图弄到不同的尺度下,保证在不同尺度下的一致性(感觉跟PSPNet很像,但是这个做的事是在不同尺度下保证特征的一致性,跟PSP还是有不同)

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第7张图片

  • Weakly-supervised Domain Adaptation for Segmentation

问题:怎么去有效利用图像层面标签?

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第8张图片

三个loss,分别是分割loss(仅针对源域)、对抗loss(源域对抗域均有)、判别loss(针对图像级别标签)

(说实话没感觉有什么novelty,用的所有的都是已有方法拼凑出来的,还是跟Context-Encoding-Network一样)

 

题目:Transfer Learning: From Algorithms to Theories and Back

讲者:龙明盛——清华大学

(这是我感觉讲的最好的,同时也是我听得最懵的,各种公式摆在上面看不懂,尽量总结内容)

 

在机器学习中,一个学习出来的learner是需要学习一个映射,即,而分布是。同样的,我们完成机器学习这件事情,是有一个误差界限保证,使得学习是有效的,即

而迁移学习就可以在这个框架下表示为如下问题,即在源域和目标域都有一个映射关系,而他们之间的分布是不一样的,即P与Q之间存在gap。

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第9张图片

Andrew Ng在2016NIPS中曾经给出以下图,来说明bias变量的迁移权衡问题。

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第10张图片

所有数据应该分为四类,

训练误差较大的时候,用更深的模型或者更长时间的训练

训练集上的验证误差较大时,用更大的数据量,或者使用正则化

验证集上误差较大的时候,需要迁移学习,或者重新生成数据

测试误差大的时候,说明在验证集上过拟合了,所以需要更大的验证集。

 

传统/基本方法进行迁移学习:

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第11张图片

边缘分布

给定边缘分布下的label的条件分布

 

所以关键问题在于怎么将分布进行适配。

 

虽然存在对抗学习方法,但是对抗学习方法需要更多的数据正则化操作,所以只考虑边缘分布是不够的(不懂!)

 

于是提出了DAN方法(2015ICML)

核心观点:将两个域的数据分别用特征提取来将两个域的数据映射到高维空间中去,并且使得在高维空间中,两个域的期望相等(高维中的期望相等,可以等价为低维中的期望、方差等全都相等),以此实现域适应。

 

优势:多kernel学习,非参数化学习

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第12张图片

2018 NIPS CDAN

条件概率不相等时应该怎么办?(这个是真的没听明白)

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第13张图片

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第14张图片

总结一下就是很偏向机器学习方面,理论充分,令人信服,就是不太懂。

 

题目:迁移学习和领域自适应方法及进展

讲者:张磊——重庆大学

 

Weak learning(弱学习)

“A problem can be weak-learned if and only if it can be strong-learned.”

 

  1. Weakly-supervised leaning(周志华)-不完全,不确切,不准确(label)
  2. Transfer learning (杨强)-边缘分布、类条件分布(data vs. label)
  3. Domain adaptation(Kate Saenko)-知识共享(data)

 

Transfer Learning(TL)/Domain Adaptation(DA)的发展如图:

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第15张图片

而TL/DA又分为几个层面,如图:

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第16张图片

Instance Level

Feature Level

Classifier Level

Deep models

Adversarial transfer

 

比较令我感兴趣的工作,该工作的目标是将清晰域的图像中目标检测结果迁移到含有雾的图像中来做,把这个过程当作一个领域迁移的问题来做。但是如同师姐所说:本身就有底层算法,为什么不直接用底层算法来做呢?不过在后来panel环节他并没有出现,没有机会问。

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第17张图片

VALSE 2019 4月12日 上午 第二会场 迁移学习与领域自适应 会议记录_第18张图片

他还有一篇关于迁移学习综述,ppt翻的太快没记下名字,回头去他官网找一下。

 

 

Panel总结:

  • 做迁移学习的时候应该从人的角度思考启发,思考迁移学习和人类的思考学习模型之间的关系。
  • 迁移学习中的一个核心问题在于如何得到一个泛化性能好的特征。
  • 从模型挖掘要迁移的指示,如何利用人的知识来提升迁移学习的性能。
  • 从数据角度:实际上我们目前能够得到的数据是很多的(各种类型,各种模态),但是同时又是很少的(没办法直接投入实际使用),怎么去处理这两者的矛盾。从方法论角度:怎么构建优质的模型来进行迁移学习
  • 迁移学习与GAN网络究竟有什么关系:首先,迁移学习是GAN网络的一个应用出口,但是GAN与迁移学习应该是相辅相成的。其次,迁移学习在创造之初实际上是一种监督学习,而GAN网络一开始是一个无监督学习(??不知道指的是什么样的无监督,如果单就判别器来看的话好像是无监督,但是从2014文章中看又像是有监督)。最后,要“from algorithm to theory”和“from theory to algorithm”,两者之间要有一个互相促进的关系。
  • Domain之间我们一开始就假设有差异,但是真的有差异吗?有的是什么差异?怎么去判断差异存在必要性和是否存在差异?(这个问题我感觉他们讲的更侧重于从实验出发,所以感觉对于这个问题还没有系统性地思考。)
  • 如何评估域适应的结果?例如如果是用GAN生成的脸,首先看face是否是真实的脸,身份是否发生了变化?其次就是生成的脸是否符合人类的认知,是否像是一个脸?所以就是分为主观(其他SDK,如googleAPI)和客观(各种指标)两个方面来进行评价。

 

 

你可能感兴趣的:(VALSE,迁移学习,领域自适应)