Learning to cartoonize using white-box cartoon representations

论文笔记--漫画生成--White-box Cartoon Representations - 知乎论文 Learning to Cartoonize Using White-box Cartoon Representations 源码https://github.com/SystemErrorWang/White-box-Cartoonization效果算法概述这篇论文是将图像风格转成漫画风格，作者认为可以将图像表…https://zhuanlan.zhihu.com/p/181629867CVPR2020 字节跳动 图像白盒卡通化，可调可控 - 知乎码字不易，如果觉得对你有帮助，欢迎随手点个赞哈~ 本文是字节跳动和东京大学联合发表在CVPR2020会议上的一种白盒表征的图像卡通化方法，论文题目是《Learning to Cartoonize Using White-box Cartoon Representat…https://zhuanlan.zhihu.com/p/264847420本文觉得以往图像到图像翻译过于黑盒化，本文想对真实场景的卡通化做解耦，

image cartoonization：将真实世界场景影像转换为卡通场景素材。

数据：我们收集了人脸和风景数据以进行不同场景的泛化。对于真实世界的照片，我们从FFHQ数据集[Karras et al. 2019]中收集了10000张人脸图像，以及从[Zhu et al. 2017]的数据集中收集了5000张风景图像。对于卡通图像，我们从动画中收集了10000张人脸图像和10000张风景图像。收集的动画制作公司包括京都动画、P.A.Works、新海诚、细田守和宫崎骏。对于验证集，我们收集了3011张动画图像和1978张真实世界的照片。主文中展示的图像来自DIV2K数据集[Agustsson和Timofte 2017]，而用户研究中的图像来自互联网和Microsoft COCO [Lin et al. 2014]数据集。在训练过程中，所有图像都被调整为256*256分辨率，并且人脸图像每5次迭代只输入一次。

这张图是本文的核心，左边是作者对卡通化的三个解耦，这三个解耦也来自于作者的对卡通作画的观察，首先训练图像是分正常图和卡通图的，首先是一个generator，是个unet结构的encoder-decoder，产生出来的图片和cartoon图片，经过三个解耦的函数分别计算loss，这里有个vgg16要预训练，只用真实图片预训练就可以，预训练之后才是用卡通图和真实图片联合训练，在前向时，只需要一个generator和一个后处理即可。整个网络核心就是GAN，一个生成器和两个判别器，以及一个VGG网络。

轮廓表征loss，用GAN保持图像边缘，保持平滑。Ic是卡通图，Ip是真实图。

结构表征，用VGG16提取网络特征，计算欧式距离

 纹理表征，GAN保留高频纹理，减少色彩和亮度的干扰

total-varitation，保证空间光滑，减少高频噪声和椒盐噪声 

centent loss，保证照片和卡通化语义一致性

后处理：

 

 图像被解耦成三个部分：1.surface representation，包括卡通图像的smooth surface，有整体的语义信息，艺术家通常在修饰细节之前绘制制图草稿，使用guide filter；2.structture representation，捕获卡通图像的全局结构信息和sparse color block，用了superpixel和selective search.3.texture representation，从彩色图像中提取单通道纹理表示，保留高频纹理特征并减少颜色和亮度的影响，用了randcolor shift。