[cvpr2017]Learning an Invariant Hilbert Space for Domain Adaptation

马氏距离

Introduction

• 本文适用于半监督和无监督形式的domain adaptation
• 作者尝试开发一个几何解决方案，通过利用黎曼几何的概念学习潜在空间（latent space）的投影和马氏距离。
• 作者建议从source domain和target domain沿着相关联的映射学习潜在空间（latent space）的结构，以解决无监督和半监督DA的两个问题。
• 为此，作何提出在latent space中最大化discrimination power（区分source domain和target domain）的概念。同时，这个latent space也要能够做到最小化source domain和target domain的某个统计量之间的差异
• 特别地，作者利用矩阵流形上的黎曼几何和优化技术来解决问题。流形科普1；流形科普2（简而言之就是用非线性方式将数据从高维降到低维的，并且保持拓扑结构不变，对机器学习而言，流形学习就是一个提取特征的过程）

Proposed Method

• 作者建议学习一个 Invariant Latent Space (ILS)来减少source domain和target domain之间的discrepancy（差异）。
• 定义：
  
• ILS定义了将source domain和target domain的数据映射到p维lantent space空间的变换 Ws 和 Wt ：
  
• latent space用马氏距离 M 作为度量：
  
• cost function:
  
  L=Ld+λLu
  
  
  • Ld （Discriminative）：source domain和target domain的相异度（dissimilarity）
  • Lu （Unsupervised）：衡量source domain和target domain之间差异的一个统计量

Discriminative Loss

• Ld 是为了使得latent space能够：
  
  • 最小化latent space中来自同一个分类的样本的不相似度
  • 最大化latent space中来自不同分类的样本的不相似度
• 定义来自latent space中的样本 Z （这里允许半监督）：
  
• 度量 M 要使得相似的pair距离小，不相似的pair距离大
  
  
  • 当 β→∞ 时， lβ 趋近hinge-loss函数， lβ 科技看成hinge-loss函数的平滑可导的变体，主要是为了便于优化和避免陷入单一样本点
    
  • 该公式中， xtMx 计算了 z1,k 与 z2,k 的马氏距离（根据原始公式，这个 M 理应是 (z1,k−z2,k) 的协方差矩阵的逆矩阵，但是这里并不是，我在想为什么）
  • pairs中 z1,k 与 z2,k 的循序与 lβ 的大小无关
  • yk=1 时也就是相似的时候， lβ 随 z1,k 与 z2,k 的马氏距离的增加而增加， yk=−1 时也就是不相似的时候， lβ 随 z1,k 与 z2,k 的马氏距离而减少
  • 使用Stein divergence（？）将 M 正则化（regularize）
    
    

Soft Margin Extension

• 当 β 很大时（接近hinge-loss这种hard margin），会出现大量的异常数据（outliers）。迫使outliers在margin范围内会导致过拟合。因此，作者对 Ld 作出了名为Soft Margin Extension的改进（加入了松弛变量）：
  

Matching Statistical Properties

• 由于协方差矩阵表现了提取出的特征当中各个维度之间的相关性，因此作者使用协方差矩阵来捕捉source domain和target domain之间的不匹配程度
  

模型总览

(剩下的内容因为我水平所限，估计要等我学习一段时间（流行学习这一块盲区太多）后再来看才有可能看懂，这里先附上作者源代码