R2GAN

CVPR 2019 《R2GAN: Cross-modal Recipe Retrieval with Generative Adversarial Network》

$R^{2}GAN$全称Retrieval Generative Adversarial Network，它实现了根据文字描述来生成图像的传统任务，但这里不同之处在于做的是根据食谱来产生相应的食物的图像，想法很是新奇呀~作者认为通过这样的方式可以以一种对抗的方式学习兼容的跨模态的特征，并且可以使用生成图像来解释某些检索的结果。另外作者指出$R^{2}GAN$的一个创新之处在于它的模型架构，这里使用了一个生成器和对偶的判别器，可以从文本嵌入空间和生成图像空间两个层级上设置损失项，并且通过在recipe1M数据集上进行试验证明了模型的效果。

背景这里就不写啦，反正就是食物很重要！

---

$R^{2}GAN$

Image-to-Recipe检索的目标是搜索相关菜谱，这些菜谱以文本形式描述给定的食物图片作为查询的菜肴的制作过程。与此类似，但方向相反，Recipe-to-Image检索是根据给定食谱烹饪的可能性对食物图像进行排序。

为了方便后面的介绍，这里先做一些符号的说明：

• $P={\left\{p_i=\left(r_i,v_i\right)\right\}}_{i=1}^N$：表示食物和食谱配对数据的集合，其中$N$表示数量，$r_i$表示食谱，$v_i$表示对应的食物图像
• $R$：食谱的集合
• $V$：食物图像的集合
• $c_i\in C$：表示食物所属的类别信息

食谱和食物图像之间存在一对多的关系，并且这里食物的图像表示的只是烹调结束后的形态

由于文字和图像所属两个不同的域中，因此无法直接通过从各自空间提取的特征进行比较。因此，可以选择一种过渡的办法，即将两个不同域的东西映射到一种公共的隐式子空间中，它们在这个子空间中的特征可以直接比较。从数学上来说，即希望学习到映射$\Phi$，它表达为$\Psi (R,V)\to \left({\mathbf{E}}_{\mathbf{R}},{\mathbf{E}}_{\mathbf{V}}\right)$，当我们把食谱和食物图像输入到$\Phi$后，它会给出位于同一子空间${\mathbb{R}}^{n\times d}$的食谱的嵌入向量$E_R$和图像的嵌入向量$E_V$，这样我们就可以进行比较了。

整个模型的架构如下所示：

在食谱嵌入学习模块中使用了双向LSTM和层级LSTM分别将食谱中的食材说明和烹调流程说明转换为嵌入向量的形式，然后将它们拼接起来得到食谱嵌入向量，最后放缩到隐式子空间的尺寸要求。在图像嵌入学习模块中使用CNN（ResNet-50）来提取图像特征，然后使用全连接层将其映射为和食谱嵌入向量相同维度的图像嵌入向量。

在得到两个域的嵌入向量后，将其输入到$R^{2}GAN$的生成器后，它可以根据食谱嵌入向量和图像嵌入向量重建食物图像，分别记为$v_f^R$和$v_f^I$。模型使用一对判别器进行不同层级的判别，$D_1$用来判断重建后图像的真假，逼迫生成器生成更加高质量的图像；$D_2$用来判别生成的食物图像是来自于食谱还是真实图像，从而迫使$v_f^R$所满足的分布和从真实图像$v_{real}$得到的$v_f^I$所满足的分布相似。通过对抗过程的不断进行，直到$v_f^R$和$v_f^I$和真实图像$v_{real}$所满足的分布相同。

另外在学习嵌入向量的阶段，作者认为配对的食谱-食物习得的嵌入向量应该表示相同的语义，因此这里添加了语义学习模块，使得两个域中习得的嵌入向量的语义越相近越好。

在损失项的设计中使用了triplet ranking loss的形式，$E$表示嵌入向量，$v$表示重建图像，下标$q,p,n$分别代表query、positive和negative。损失项这里使用的是最大间隔损失：$$\begin{array}{rl}{L}_{rank}=& \max \left\{d\left(E_q,E_p\right)-d\left(E_q,E_n\right)+{\alpha }_1,0\right\}+\\ & \mu \max \left\{d\left(v_q,v_p\right)-d\left(v_q,v_n\right)+{\alpha }_2,0\right\}\end{array}$$其中$d(.)$表示距离度量，从中可以看出模型希望正确配对的数据的概率越大越好，反之不配对的概率越小越好。这样的方式增强了学习的鲁棒性，在嵌入空间和重构图像空间内，使正对之间的距离始终小于负对之间的距离。

文本嵌入空间的距离函数为余弦相似度，像素级图像空间的距离度量方式是欧式距离。

对抗损失项如下所示：$$\begin{array}{rl}{L}_{D_1}=& {\mathbb{E}}_{x\sim p_{image}}\left[\log D_1(x)\right]+\\ & {\mathbb{E}}_{{\mathbf{E}}_{\mathbf{V}}\sim p_{image}}\left[\log \left(1-D_1\left(G\left({\mathbf{E}}_{\mathbf{V}}\right)\right)\right)\right]\\ L_{D_2}=& {\mathbb{E}}_{{\mathbf{E}}_{\mathbf{V}}\sim p_{image}}\left[\log D_2\left(G\left({\mathbf{E}}_{\mathbf{V}}\right)\right)\right)]+\\ & {\mathbb{E}}_{{\mathbf{E}}_{\mathbf{R}}\sim p_{\text{recipe}}}\left[\log \left(1-D_2\left(G\left({\mathbf{E}}_{\mathbf{R}}\right)\right)\right)\right]\end{array}$$ $$\begin{array}{rl}{L}_G=& \frac{1}{2}\left({\mathbb{E}}_{{\mathbf{E}}_{\mathbf{V}}\sim p_{\text{image}}}\left[\log \left(1-D_1\left(G\left({\mathbf{E}}_{\mathbf{V}}\right)\right)\right)\right]\right)+\\ & {\mathbb{E}}_{{\mathbf{E}}_{\mathbf{R}}\sim p_{\text{recipe}}}\left[\log \left(1-D_2\left(G\left({\mathbf{E}}_{\mathbf{R}}\right)\right)\right)\right]\end{array}$$

为了重建后的图像尽可能多地保留原始图像的信息，这里还使用了特征层和图像层的两级损失，如下所示：$$\begin{array}{rl}{L}_{\text{recon}}=& \frac{1}{2}({\Vert \Phi \left(v_{\text{real}}\right)-\Phi \left(v_f^I\right)\Vert }_2^2+\\ & {\Vert \Phi \left(v_f^I\right)-\Phi \left(v_f^R\right)\Vert }_2^2+\\ & \beta \left({\Vert v_{\text{real}}-v_f^I\Vert }_2^2+{\Vert v_f^I-v_f^R\Vert }_2^2\right))\end{array}$$其中$||\Phi (.)-\Phi (.)|{|}_2^2$表示特征层级的损失，$||v_1-v_2|{|}_2^2$表示图像层级的损失，这里的距离度量都是用的是余弦距离。

最后一个就是上述的语义损失项$$L_{sem}=-\log \frac{\exp \left(E_c\right)}{{\sum }_i\exp \left(E_{c_i}\right)}$$

因此整个模型的损失函数为$L_{full}=L_{rank}+\gamma L_{recon}+\lambda L_{sem}$，而生成器的损失项为$L_{G_{full}}=L_G+\delta L_{recon}$。

---

实验

数据集：Recipe 1M

与其他跨模态方法的定量评估比较

模型效果可视化结果

消蚀结果，证明所提出的各部分的有效性

消蚀实验所对应的模型架构

总结

解决问题的角度很新颖，但是整个模型架构感觉还好，而且生成的图像确实差强人意，只能大概看出它是食物，图像的质量并不高~

只是个人愚见