关于“Deep Adversarial Metric Learning”

论文阅读笔记

1. 论文题目：Deep Adversarial Metric Learning
2. 论文创新点：DAML利用大量 易辨识的负例（ easy negatives）生成 难辨识的负例（hard negatives）；现存的度量学习（metric learning）方法仅利用数量少的hard negatives而忽略数量多的easy negatives。如下图所示，
3. 具体内容：
     DAML的网络结构如下：
      DAML的目的是通过优化设计好的目标函数 ${\theta }_f^a=\underset{{\theta }_f}{\mathrm{argmin}}{\mathrm{J}}_m({\theta }_f;x_i,x_i^{+},{\tilde{x}}_i^{-},f)$来获得参数${\theta }_f$，这里${\tilde{x}}_i^{-}$表示产生的负例（negative sample），${\tilde{x}}_i^{-}=G({\theta }_g;x_i^{-},x_i,x_i^{+})$。
   
      生成器（generator）的目标函数为：
   $\underset{{\theta }_g}{\min }{\mathrm{J}}_{gen}={\mathrm{J}}_{hard}+{\lambda }_1{\mathrm{J}}_{reg}+{\lambda }_2{\mathrm{J}}_{adv}=\sum _{i=1}^N(||{\tilde{x}}_i^{-}-x_i|{|}_2^2+{\lambda }_1||{\tilde{x}}_i^{-}-x_i^{-}|{|}_2^2+{\lambda }_2[D({\tilde{x}}_i^{-},x_i{)}^2-D(x_i^{+},x_i{)}^2-\alpha {]}_{+})$。
   
     对抗性度量学习（Deep Adversarial Metric Learning）的框架可以应用于有监督度量学习的各种目标函数，即用以下目标函数同时训练 难辨识的负例生成器（hard negative generator）和距离度量：
   $$\underset{\theta g,\theta f}{\min }\mathrm{J}={\mathrm{J}}_{gen}+\lambda {\mathrm{J}}_m$$
      DAML (cont)：对于contrastive embeddings，$${\mathrm{J}}_m=\sum _{i=1}^{N_i}D(x_i^{+},x_i{)}^2+\sum _{j=1}^{N_j}[\alpha -D({\tilde{x}}_j^{-},x_j{)}^2{]}_{+}$$
   
      DAML (tri)：对于triplet embeddings，
   $${\mathrm{J}}_m=\sum _{i=1}^N[D(x_i^{+},x_i{)}^2-D({\tilde{x}}_i^{-},x_i{)}^2+\alpha {]}_{+}$$
      DAML (lifted)：对于lifted structure，
   $${\mathrm{J}}_m=\frac{1}{2N_i}\sum _{i=1}^{N_i}\max (0,{\mathrm{J}}_{i^{+},i})$$
   $${\mathrm{J}}_{i^{+},i}=\max (\max \alpha -\tilde{D}(x_i^{+}),\max \alpha -\tilde{D}(x_i))+D(x_i^{+},x_i)$$
           这里$\tilde{D}(X)$表示负例对（negative pairs）到X的距离。
   
      DAML (N-pair)：对于 N-pair loss，
   $${\mathrm{J}}_m=\frac{1}{C}\sum _{c=1}^C\log (1+\sum _{c^{\prime }̸=c}\exp (D(x_c,{\tilde{x}}_{c^{\prime }}^{+})-D(x_c,x_c^{+})))$$这里$D(x_i,x_j)=f_i^T{f}_j$是在N-pair loss度量相似性。