机器学习:领域自适应学习

训练一个分类器是小问题

机器学习:领域自适应学习_第1张图片

上难度

机器学习:领域自适应学习_第2张图片
训练数据和测试数据不一致,比如训练数据是黑白的,测试时彩色的,结果准确率非常低。
训练数据和测试数据有点差距的时候,能不能效果也能好呢?这就用到了领域自使用domain adptation
机器学习:领域自适应学习_第3张图片
用一个领域学到的知识,用到另外一个领域。

Domain Shift

机器学习:领域自适应学习_第4张图片
有多种多样的domain shift

  • 分布频次不一样
  • 标签不一致

这里只考虑分布不一样
机器学习:领域自适应学习_第5张图片
机器学习:领域自适应学习_第6张图片

  • 有标注的数据量,但比较少,可以通过微调的方式进行训练,跑2-3个epoch
  • 小心不要过拟合

机器学习:领域自适应学习_第7张图片
现在问题是有大量的图像,但是没有标注,怎么用这些没有标注的数据用来训练模型。
机器学习:领域自适应学习_第8张图片
把颜色去掉,这样就能一样训练了。

Domain Adversarial Training

机器学习:领域自适应学习_第9张图片
把前5层当作feature extractor,后5层当作label predictor。
想要有标注的数据和无标注的数据抽取后的特征在分布上没有什么差别。
机器学习:领域自适应学习_第10张图片

  • 特征抽取器:学会愚弄领域分类器
  • 不能让特征抽取器永远输出0,也需要label predictor的训练
    机器学习:领域自适应学习_第11张图片

Limitation

机器学习:领域自适应学习_第12张图片

  • 三角形和矩形越相近越好,但如何衡量呢?

机器学习:领域自适应学习_第13张图片
考虑边界
机器学习:领域自适应学习_第14张图片

  • 考虑外包围
    机器学习:领域自适应学习_第15张图片

机器学习:领域自适应学习_第16张图片
更坏的情况:

  • 只有一张
  • 甚至都不知道

一张都不知道的话就不叫domain adaptation而是domain generalization
机器学习:领域自适应学习_第17张图片
data aug 进行数据增强
机器学习:领域自适应学习_第18张图片

你可能感兴趣的:(机器学习,机器学习,领域自适应,阿里云,domain)