论文阅读：CVPR2022 Wavelet Knowledge Distillation: Towards Efficient Image-to-Image Translation

任务：图像转换

背景分析：

生成对抗网络（GAN）在图像到图像的翻译中取得了显著成就。然而，由于参数量巨大，最先进的 GAN 通常存在效率低和内存使用量大的问题。

为了应对这一挑战，本文首先从频率的角度研究了 GAN 的性能。结果表明，尤其是小型 GAN，缺乏生成高质量高频信息的能力。

为了解决这个问题，提出了一种新的知识蒸馏方法，称为小波知识蒸馏。小波知识蒸馏不是直接提取生成的教师图像，而是首先通过离散小波变换将图像分解为不同的频带，然后仅提取高频带。

因此，学生 GAN 可以更加关注其在高频上的学习。实验表明，在 CycleGAN 上实现了 7.08 倍的压缩和 6.80 倍的加速，几乎没有性能下降。此外，我们研究了鉴别器和生成器之间的关系，这表明鉴别器的压缩可以提高压缩生成器的性能。

Introduction：

知识蒸馏很适合小模型提高性能，但其不适合GAN。用于将生成的图像和地面实况图像分解为不同的频带。 然后，我们分别计算每个频带上的归一化 L1-范数距离。所有 GAN 在低频段实现了非常低的误差，但在高频段生成失败，这与 GAN 生成的图像没有很好的细节的观察结果一致。 此外，可以观察到，与大型 GAN 相比，微型 GAN 在低频段的性能相当，但在高频段的性能要差得多。 这两个观察结果表明，在 GAN 压缩过程中应该更多地关注高频。

文章主要工作：

1）从频率角度分析了 GAN 的性能，定量地表明 GAN，尤其是小型 GAN 缺乏在图像中生成高质量高频信息的能力。基于上述观察，小波知识蒸馏被提出来解决这个问题，只提取高频信息，而不是从教师生成的图像中提取所有信息。

2）三个模型和八个数据集以及六种比较方法的定量和定性结果证明了方法的有效性。

3）研究了模型压缩过程中判别器和生成器之间的关系。它表明，对判别器的压缩对于在对抗性学习中保持与压缩生成器的竞争是必要的。

Method： 无代码

回顾小波变换：

 

 回顾蒸馏算法：

 

小波知识蒸馏：

 

一些回顾：

关于频域与CNN结合的相关研究：

Multi-Level Wavelet Convolutional Neural Networks -IEEE access 2019

图像重建任务、类似U-Net但是不包含上下采样、用DWT和IDWT替换。

FcaNet: Frequency Channel Attention Networks -arxiv2020

利用频域分析，改进通道自注意力。

提出并证明GAP是一种特殊形式的2D DCT（离散余弦变换），结果是低频的2D DCT成分。

提出多频域通道自注意力。

Invertible Image Rescaling--ECCV2020

任务：图像缩放➕还原

可逆网络+保留高频信息

但实际无法在存储、传输低分辨率图片时还附带本应被丢失的高频信息

分析：每次小波变换，h+取决于样本(case-specific)，且和ll相关。条件概率分布p（h+|ll）难以获得。利用INN把条件概率分布转换为独立分布(case-agnoistic)。

重建图像通过在正态分布中随机选点，经过INN得到原被丢弃的信息。

但整个过程并不是完全没有信息丢失，比起先前研究中忽视ill-posed问题的做法，本文从本质上缓解求解ill-posed问题带来的困难。