【论文阅读】FreeU: Free Lunch in Diffusion U-Net

paper：https://arxiv.org/abs/2309.11497

code：GitHub - ChenyangSi/FreeU: FreeU: Free Lunch in Diffusion U-Net

1.intro

贡献：

•研究并揭示了U-Net架构在扩散模型中去噪的潜力，并确定其主要骨干主要有助于去噪，而其跳过连接将高频特征引入解码器模块。

•介绍了“FreeU”，利用U-Net架构的两个组件的优势，来增强U-Net的去噪能力。提高了生成质量，而不需要额外的训练或微调。

•FreeU框架是通用的，与现有的扩散模型无缝集成。通过各种基于扩散的方法证明了样品质量的显著改善，显示了FreeU在不增加额外成本的情况下的有效性。

2. 方法

图2。去噪过程。顶部一行说明了图像在迭代中的渐进去噪过程，而随后的两行显示了傅里叶反变换后的低频和高频分量，匹配每一步。去噪过程中，低频分量变化缓慢，高频分量显著变化。