（略）Deep Domain Confusion: Maximizing for Domain Invariance（2014）

（比较早的文章，略写一下科普）

• 作者采用MMD(maximum mean discrepancy)作为source domain和target domain之间的特征向量（feature vector）之间的距离的度量（metric），最小化MMD可以解决source domain和target domain之间的数据偏差(data-bias)问题：

  
  
  

• 网络架构（Krizhevsky architecture）：

  
  
  
  • 低5层卷积层学习source domain和target domain的共同特征
  • 高层的全连接层当中加入了MMD损失（作者是选择在fc7层之后加入了一个"bottleneck"层（adaptaion layer），加入MMD metric损失）
  • 所有的层共享权重 - source domain上加入了分类损失
  • 如果分类仅仅使用source domain上的数据进行训练，会导致过拟合，所以作者使用最小化了source domain和target domain数据上距离的特征来对分类器进行训练。

  • 最小化MMD（作者也称为最大化domain-confusion）：

    
    
    

  • 再加入source domain上的分类损失：

    
    
    

  • adaptation 层位置的选择（最终fc7），以及adaptation输出的特征向量的维度的选择(最终选择维度256)

    
    
    
    
    
    

  • 是否加入MMD损失（正则项）