图像上色:DiffColor: Toward High Fidelity Text-Guided Image Colorization with Diffusion Models

论文作者：Jianxin Lin,Peng Xiao,Yijun Wang,Rongju Zhang,Xiangxiang Zeng

作者单位：Hunan University

论文链接：http://arxiv.org/abs/2308.01655v1

内容简介：

1）方向：图像上色

2）应用：图像处理和图像编辑

3）背景：目前数据驱动的图像上色方法已经可以实现自动或基于引导的图像上色，但仍然在目标级别的颜色控制方面存在问题，难以得到令人满意和准确的结果。

4）方法：为了解决上述问题，作者提出了一种名为DiffColor的新方法，它利用预训练的扩散模型的能力，在没有任何额外输入的情况下，根据提示文本恢复生动的颜色。DiffColor主要包含两个阶段：生成式颜色先验的上色和上下文可控的上色。具体而言，首先通过基于CLIP的对比损失对预训练的文本到图像模型进行微调，生成上色图像。然后尝试获得优化的文本嵌入，将上色图像与文本提示对齐，并通过微调的扩散模型实现高质量的图像重构。该方法可以在几次迭代内生成生动且多样的颜色，并在保持结构和背景完整的同时，使颜色与目标语言引导相一致。此外，该方法允许在上下文中进行上色，即通过修改提示文本来产生不同的上色结果，无需进行任何微调，并且可以实现目标级别的可控制的上色结果。

5）结果：通过大量的实验和用户研究，证明了DiffColor在视觉质量、颜色保真度和上色选项的多样性方面优于之前的方法。DiffColor可以产生更加生动、多样的上色结果，并且在目标级别上实现了有效的颜色控制。