NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021

点击下方“AI算法与图像处理”,一起进步!

重磅干货,第一时间送达

码字不易,给打工人点个赞吧。

今天分享一篇南洋理工大学&商汤科技的最新论文:

Focal Frequency Loss for Image Reconstruction and Synthesis

文章提出一种新的loss 函数,Focal Frequency Loss。目前的生气模型虽然已经有众多研究成果,但是生成的图像与真实图像依然有差距,特别是在频域 。因此,本文提出一个针对频域的loss,同时借鉴 困难样本挖掘的策略,对不同频率根据难易程度进行加权。作者通过大量的实验,证明其新loss的有效性!

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第1张图片

https://github.com/EndlessSora/focal-frequency-loss

https://arxiv.org/pdf/2012.12821.pdf

更多 ICCV 2021 的论文和代码,以及相关的报告和解读都进行整理(欢迎star)

https://github.com/DWCTOD/ICCV2021-Papers-with-Code-Demo

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第2张图片

摘要

由于生成模型的发展,图像重建和合成取得了显著的进展。尽管如此,真实图像和生成的图像之间仍然可能存在差距,特别是在频域。在这项研究中,我们发现缩小频域中的间隙可以进一步改善图像重建和合成质量。我们提出了一种新的 focal frequency loss ,该 loss 允许模型自适应地关注于难以合成的频率分量,通过降低容易合成的分量的权重。该目标函数是对现有空间loss的补充,对由于神经网络固有偏差而导致的重要频率信息的loss提供了很大的阻抗。我们展示了focal frequency loss的多功能性和有效性,以改进诸如VAE、pix2pix和SPADE等流行模型的感知质量和定量性能。我们进一步展示了它在StyleGAN2上的潜力。

动机

目前的图像生成模型,虽然取得了不错的进展,但是依然存在一定问题,生成的图像与真实图像之间还存在差距,特别是频域。

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第3张图片

解决方案

首先要明确一些基本的概念

1、2D discrete Fourier transform(2维离散傅里叶变换)

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第4张图片

2、Euler’s formula(欧拉公式)

通过欧拉公式将公式 (1)中的包含e 的部分进行一定的变换:

变换之后,即可将公式 1 拆成实部与虚部,用于后续计算 频域距离。

将公式 1 写成更加通俗易懂的方程:

amplitude:

phase:

频率距离应该考虑振幅和相位,因为它们捕获图像的不同信息。我们在图3中展示了一个单一的图像重建实验。只需最小化振幅差,就可以得到具有不规则颜色图案的重建图像。相反,仅使用相位信息,合成图像类似于噪声。只有同时考虑振幅和相位,才能实现可靠的重建。

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第5张图片

我们的解决方案是将每个频率值映射到二维空间(即平面)中的欧几里德向量。按照复数的标准定义,实部和虚部分别对应于x轴和y轴。

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第6张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第7张图片

同时这里还引入了动态加权的策略。

受困难样本挖掘[12,59]和focal loss[41]的启发,我们制定了将训练重点放在“困难”频率上的方法。为了实现这一点,我们引入了频谱权重矩阵来降低“简单”频率的权重。频谱权重矩阵由训练期间每个频率的当前loss的非均匀分布动态确定。每个图像都有自己的光谱权重矩阵。矩阵的形状与光谱的形状相同。矩阵元素w(u,v),即(u,v)处空间频率的权重,定义为:

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第8张图片

完整的 focal frequency loss (FFL):

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第9张图片

实验&效果:

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第10张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第11张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第12张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第13张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第14张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第15张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第16张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第17张图片

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第18张图片

结论

所提出的 focal frequency loss 直接优化了频域中的图像重建和合成方法。loss 自适应地将模型聚焦于难以处理的频率分量,以改善质量。这种损失是对不同类别、网络结构和任务的不同基线的现有空间损失的补充,优于相关方法。我们进一步展示了 focal frequency loss 对改善StyleGAN2合成结果的潜力。探索其他应用和设计更好的频域优化策略可能是未来有趣的工作。

新建学术交流群,欢迎各位小伙伴进群交流

NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第19张图片

努力分享优质的计算机视觉相关内容,欢迎关注:




个人微信(如果没有备注不拉群!)
请注明:地区+学校/企业+研究方向+昵称



下载1:何恺明顶会分享
在「AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2:终身受益的编程指南:Google编程风格指南
在「AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!


下载3 CVPR2021


在「AI算法与图像处理」公众号后台回复:CVPR,即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文

点亮 ,告诉大家你也在看NTU&商汤提出新 loss!Focal Frequency Loss 提升图像重建和图像合成的质量 ICCV2021_第20张图片

你可能感兴趣的:(算法,机器学习,人工智能,深度学习,计算机视觉)