CVPR 2023 | 风格迁移论文3篇简读，视觉AIGC系列

CAP-VSTNet: Content Affinity Preserved Versatile Style Transfer

内容相似度损失（包括特征和像素相似度）是逼真和视频风格迁移中出现伪影的主要问题。本文提出了一个名为CAP-VSTNet的新框架，包括一个新的可逆残差网络（reversible residual network）和一个无偏线性变换模块，用于多功能风格转移。这个可逆残差网络不仅可以保留内容关联性，而且不像传统的可逆网络引入冗余信息，因此更有利于风格化处理。借助Matting Laplacian训练损失，可以处理线性变换引起的像素亲和力损失问题，因此提出的框架对多功能风格迁移是适用和有效的。广泛的实验显示，CAP-VSTNet相比于现有方法可以产生更好的定量和定性结果。

Inversion-Based Style Transfer with Diffusion Models

绘画中的艺术风格是表达的方式，包括绘画材料、颜色、笔法，还包括高级属性，包括语义元素、物体形状等。以往的任意示例引导的艺术图像生成方法通常不能控制形状变化或传达元素。已经预先训练的文本到图像生成扩散概率模型在质量上已经取得了显著的成绩，但通常需要大量的文本描述来准确地描绘特定画作的属性。

本文认为，艺术品的独特之处恰恰在于它无法用平常的语言充分解释。关键思想是直接从一幅画作中学习艺术风格，然后在不提供复杂的文本描述的情况下进行合成。具体而言，将风格假设为绘画的可学习文本描述。提出了一种基于逆映射inversion的风格迁移方法（inversion-based style transfer，InST），可以高效和精确地学习图像的关键信息，从而捕捉和传输绘画的艺术风格。

在各种艺术家和风格的众多画作上展示了方法的质量和效率。代码和模型在 https://github.com/zyxElsa/InST

Neural Preset for Color Style Transfer

论文提出一种神经预设技术（Neural Preset technique），以解决现有颜色风格迁移方法的局限性，包括视觉伪影、庞大的内存需求和风格切换速度慢。方法基于两个核心设计。

首先，提出了确定性神经颜色映射（DNCM），通过一个图像自适应的颜色映射矩阵一致地作用于每个像素，避免伪影，并支持具有小内存占用的高分辨率输入。

其次，通过将任务划分为颜色归一化和风格化来开发一个两阶段流水线，这允许通过将颜色风格提取为预设并在归一化的输入图像上重复使用它们来有效地进行风格切换。由于缺乏成对数据集，描述了如何通过自监督策略来训练神经预设。

通过全面的评估展示了神经预设相对于现有方法的各种优势。此外，展示了训练的模型可以自然地支持多个应用程序，无需微调，包括低光图像增强、水下图像校正、图像去雾和图像调和。可以在 https://zhkkke.github.io/NeuralPreset/#/ 获得源代码和训练模型。