论文笔记-Multimodal Unsupervised Image-to-Image Translation

论文信息

• 论文标题：Multimodal Unsupervised Image-to-Image Translation

• 论文出处：ECCV 2018

• 论文作者：Xun Huang, Ming-Yu Liu, Serge J. Belongie, Jan Kautz

• 研究机构：康奈尔大学；英伟达

• 代码链接：https://github.com/nvlabs/MUNIT

• 引用信息：

• @inproceedings{DBLP:conf/eccv/HuangLBK18,
    author    = {Xun Huang and
                 Ming{-}Yu Liu and
                 Serge J. Belongie and
                 Jan Kautz},
    editor    = {Vittorio Ferrari and
                 Martial Hebert and
                 Cristian Sminchisescu and
                 Yair Weiss},
    title     = {Multimodal Unsupervised Image-to-Image Translation},
    booktitle = {Computer Vision - {ECCV} 2018 - 15th European Conference, Munich,
                 Germany, September 8-14, 2018, Proceedings, Part {III}},
    series    = {Lecture Notes in Computer Science},
    volume    = {11207},
    pages     = {179--196},
    publisher = {Springer},
    year      = {2018},
    url       = {https://doi.org/10.1007/978-3-030-01219-9\_11},
    doi       = {10.1007/978-3-030-01219-9\_11},
    timestamp = {Tue, 14 May 2019 10:00:45 +0200},
    biburl    = {https://dblp.org/rec/conf/eccv/HuangLBK18.bib},
    bibsource = {dblp computer science bibliography, https://dblp.org}
  }
  

论文要点

• 关键贡献：提出多模态的无监督图像转换方法，是对作者团队之前工作 UNIT 的进一步完善，UNIT 只是提取两个域的共有特征，MUNIT 进一步将这种特征细划为域无关的内容信息和域相关的风格信息，利用信息的解耦进行特征重组，从而实现图像风格转换
• 参考价值
  • 域适应方法
  • 特征解耦整理
  • 损失函数设计

要点翻译

方法的两种说明：（1）自编码器，将图片解耦为内容特征和风格特征之后还能重新组合得到原图像；（2）图像翻译，利用源图像的内容特征和其他目标域图像的风格特征，将源图像转换为目标域输出

图像的自编码体现再两个方面：（1）图像级别的，一张图像分解为内容特征和风格特征之后，可以利用两个特征进行重建；（2）特征级别，一张图像的内容特征结合另一张图像的风格特征，生成的图像重新进行特征提取与解耦合，则重新得到的内容特征与风格特征应当与对应的原始的特征吻合

损失函数

• 双向重建损失：图像-特征-图像的重建 以及 特征-图像-特征的重建，即上述的两个自编码

• 图像级重建损失：

• [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bO3lyI1H-1601653852273)(C:\Users\Kingsley\AppData\Roaming\Typora\typora-user-images\image-20201002232511496.png)]

• 特征级重建损失：
  

• 翻译图像的对抗损失：
  

• 总体损失：