论文阅读20200603

1.基于卷积神经网络的蜡染染色模拟

 

算法步骤：

1. 基于距离变换生成裂纹，并添加高斯噪声使得到的裂纹更真实
2. 使用Labelme进行语义分割，分割内容图和风格图中的特定区域，生成标签
3. 使用PhotoWCT算法对图像的内容图进行染色，并通过像素相似性对染色结果进行平滑

 

PhotoWCT的网络结构为编码解码结构。

编码器采用VGG19，采用像素重建损失和特征损失训练解码器。

编码器与解码器对称，解码器采用上池化层，并加入池化掩码以记录相应池化层中每个最大池化区域的最大值。

训练编码器之后，在网络瓶颈处插入一对投影功能，通过 2 个投影将内容图像的特征相关性与风格图像的特征相关性直接匹配。

最后，通过将变换的特征图直接反馈到解码器中来获得风格化图像。

体会：

该算法不直接利用图像风格迁移算法，而是将蜡染过程进行分解，利用已有算法或结构进行改进，从而改进现有基于深度学习的风格迁移算法导致的结构伪像、边缘扭曲等问题。

图像渲染时，普遍情况可以直接渲染，但是针对复杂场景或者风格转换等情况时，还是要具体问题具体分析。所以可以寻找一种具体情况，且这种情况有背景/需求，则针对具体问题分步骤解决，避免一概而论。

2.基于多尺度笔刷的分层油画风格化

 

算法步骤：通过模拟实际绘画中由粗到精的绘制过程，以提高风格化的质量。

首先使用增量 Voronoi序列采样点和图像切线方向场确定笔刷流线;

然后依据笔刷流线使用笔刷形状与笔刷高度场进行纹理贴图模拟油画效果;

最后使用不同尺度的笔刷按照从大到小的顺序迭代并绘制出最终结果.

体会：

真实绘画过程是利用画笔逐渐绘画，逐渐逼近理想效果。但是一般的油画只是神似，而没有统一的结果。所以利用风格迁移之类的算法总会导致边缘模糊。利用这种方法渲染图像容易模糊、不真实。