读“基于深度学习的图像风格迁移研究综述”有感

前言

1. 关于传统非参数的图像风格迁移方法和现如今基于深度学习的图像风格迁移方法。
2. 基于深度学习的图像风格迁移方法：基于图像迭代和模型迭代的两种方法的优缺点。
3. 基于深度学习的图像风格迁移方法的存在问题及其应用前景。

基于深度学习的图像风格迁移研究

传统非参数的图像风格迁移方法

• 传统非参数的图像风格迁移方法是主要基于物理模型的绘制和纹理的合成，但是非参数图像风格迁移方法只能提取图像的底层特征，而非高层抽象特征在处理颜色和纹理较复杂的头像时，最终的合成效果较为粗糙难以符合实际需求。

基于卷积神经网络的图像风格迁移

• 随着深度学习的兴起，Gatys等人开创性的提出了一种基于卷积神经网络的图像风格迁移。该方法可以将图像的内容抽象特征表示和风格抽象特征表示进行分离，并通过独立处理这些高层抽象特征表示来有效的实现图像风格迁移。

图像迭代和模型迭代的优缺点

• 目前基于深度学习的图像风格迁移方法主要包括：基于图像迭代和基于模型迭代。对于这两张方法，其中基于图像迭代的优点有：合成图上的质量高，可控性好，易于调参，无需训练数据，。但是其计算时间较长，对预训练模型的依赖性也大。而基于模型迭代的方法及计算速度快，可用于视频快速风格化，目前是工业应用软件的主流技术。但是该方法图像生成质量还有待提高，而且还需要大量的数据进行训练。基于图像迭代的目标是使得白噪声图像同时匹配内容图像的内容特征表示和风格图上的风格特征表示，最终获得风格化的合成图像。主要的基本方法有最大均值差异法，马尔可夫随机场法，深度图像类比法。而基于模型迭代的主要方法有生成模型法，图像重构解码器法。

基于深度学习的图像风格迁移方法的应用

• 随着基于深度学习的图像风格迁移，在算法和理论方面的不断改进，目前基于深度学习的图像风格迁移主要应用于图像处理，视频处理和风格设计的辅助工具。

基于深度学习的图像风格迁移方法存在的问题

• 就目前研究来看，基于深度学习的图像风格迁移方法，在如何提高算法效率和图像质量上仍有很大的研究空间。除此之外基于深度学习的图像风格迁移的算法仍存在如下一些问题：避免参数调整的问题，预训练模型的限制问题，迁移学习理论还有待完善的问题，预处理和后处理方法的选择。

• 总而言之，基于深度学习的图像风格迁移在工业界中有很大的需求，且具有重要的研究意义和广阔的应用前景，因此对于这方面的学习非常值得我们去研究和深造。