关于“Deep Variational Metric Learning”

论文阅读笔记

1. 论文标题：Deep Variational Metric Learning
2. 动机：现有的方法大多是对类内差异（variance）不加区分，使得模型在训练集上过度拟合。
3. 创新：提出 deep variational metric learning (DVML) 框架：
   - 刻画类内差异（variance），解开（disentangle）类内不变性（invariance）
   - 产生判别样本（discriminative samples）提高鲁棒性
4. DVML的网络结构：
   
   损失函数：
   $L={\lambda }_1{L}_1+{\lambda }_2{L}_2+{\lambda }_3{L}_3+{\lambda }_4{L}_4$
   $\begin{array}{rl}\mathcal{L}\left(\theta ,\varphi ;{\mathbf{X}}_b\right)& \approx \frac{1}{2B}\sum _{i=1}^B\sum _{j=1}^J\left(1+\log \left({\left({\sigma }_j^{(i)}\right)}^2\right)-{\left({\mu }_j^{(i)}\right)}^2-{\left({\sigma }_j^{(i)}\right)}^2\right)\\ & +\frac{1}{TB}\sum _{i=1}^B\sum _{t=1}^L\log p_{\theta }\left({\mathbf{x}}^{(i)}|{\mathbf{z}}^{(i,t)}\right)\\ & \triangleq L_1+L_2\end{array}$
   $L_1=\frac{1}{2B}{\sum }_{i=1}^B{\sum }_{j=1}^J\left(1+\log \left({\left({\sigma }_j^{(i)}\right)}^2\right)-{\left({\mu }_j^{(i)}\right)}^2-{\left({\sigma }_j^{(i)}\right)}^2\right)$
   $L_2=\frac{1}{TB}{\sum }_{i=1}^B{\sum }_{t=1}^T{\Vert {\mathbf{x}}^{(i)}-{\hat{\mathbf{x}}}^{(i,t)}\Vert }_2$
   $\mathcal{L}\left(\theta ,\varphi ;{\mathbf{X}}_b\right)$近似表示类内方差模型的损失函数，L1保证类内方差（variance）的分布为各向同性中心高斯分布，L2保证类内方差保持样本特定的信息。
   $L_3=L_{\mathrm{m}}(\hat{\mathbf{z}})$ 这里$\hat{\mathbf{z}}={\mathbf{z}}_{I_k}+{\hat{\mathbf{z}}}_V$通过${\mathbf{z}}_{I_k}$想强调不同的类有不同的类内方差.
   $L_4=L_{\mathrm{m}}\left({\mathbf{z}}_I\right)$这里$L_4$用于约束类内不变性。

baseline methods	表达式
Triplet	$L_{\mathrm{m}}={\sum }_{i=1}^N\max \left(\alpha +D{\left({\mathbf{z}}_{(a)}^{(i)},{\mathbf{z}}_{(p)}^{(i)}\right)}^2-D{\left({\mathbf{z}}_{(a)}^{(i)},{\mathbf{z}}_{(n)}^{(i)}\right)}^2,0\right)$
N-pair	$L_{\mathrm{m}}=\frac{1}{N}{\sum }_{i=1}^N\log \left(1+{\sum }_{j̸=i}\exp \left({\mathbf{z}}^{(i)T}{\mathbf{z}}_{+}^{(j)}-{\mathbf{z}}^{(i)T}{\mathbf{z}}_{+}^{(i)}\right)\right)$
Triplet2 with Distance Weighted Sampling	$L_{\mathrm{m}}={\sum }_{i=1}^N\max \left(\alpha +D\left({\mathbf{z}}_{(a)}^{(i)},{\mathbf{z}}_{(p)}^{(i)}\right)-D\left({\mathbf{z}}_{(a)}^{(i)},{\mathbf{z}}_{(n)}^{(i)}\right),0\right)$