Paint Transformer:以“笔画预测”的方式来作画!

点击上方“机器学习与生成对抗网络”,关注星标

获取有趣、好玩的前沿干货!

来源:量子位

AI已经能教你画油画了。

随便给一张图,笔画序列秒秒钟呈现。

比如世界名画蒙娜丽莎。

亦或是写实类的小鸟。

还有极具氛围感的河灯。

总之什么风格都可以驾驭。

Paint Transformer:以“笔画预测”的方式来作画!_第1张图片

这项技术在Reddit上21小时内就已经有600+的点赞量。

究竟是如何打造的呢?

用前馈网络预测笔画

神经绘画,就是为给定的图像生成一系列笔画,并使用神经网络进行绘画式的真实再现过程。

研究团队提出了一个基于Transformer的框架,叫做Paint Transformer,用前馈网络来预测笔画的参数。

由于当前没有可用的数据集来训练Paint Transformer,受物体检测启发,研究人员设计了一个自训练Pipeline。

整个模型由两个模块组成:笔画预测器和笔画渲染器。

Paint Transformer:以“笔画预测”的方式来作画!_第2张图片

给定目标图像和中间画布图像,笔画预测器,生成一组参数以确定当前笔画集。

预测器包含了两个用于特征嵌入的CNN网路和一个用于参数预测的Transformer。

Paint Transformer:以“笔画预测”的方式来作画!_第3张图片

随后,笔画渲染器为笔画集汇总的每个笔画,生成笔画图像,并将它们绘制到画,产生结果图像,大小为512*512

在DETR(用Transformer进行对象检测)的基础上,增加了二进制神经元来预测笔画是否应该被保留。

这样它就可以在没有任何现成的数据集的情况下进行训练,同时还能实现出色的泛化能力。

Paint Transformer:以“笔画预测”的方式来作画!_第4张图片

实验表明,这一方法比以前的方法取得了更好的绘画性能,而且训练和推理成本更低。

Paint Transformer:以“笔画预测”的方式来作画!_第5张图片

百度南大团队打造

这项技术由百度、南京大学、罗格斯大学共同打造。

Paint Transformer:以“笔画预测”的方式来作画!_第6张图片

目前代码已经开源,并在一刻相册App上应用。

论文地址:
https://arxiv.org/abs/2108.03798
GitHub网址:
https://github.com/wzmsltw/PaintTransformer

猜您喜欢:

等你着陆!【GAN生成对抗网络】知识星球!  

CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总

CVPR 2021 | 图像转换 今如何?几篇GAN论文

【CVPR 2021】通过GAN提升人脸识别的遗留难题

CVPR 2021生成对抗网络GAN部分论文汇总

经典GAN不得不读:StyleGAN

最新最全20篇!基于 StyleGAN 改进或应用相关论文

超100篇!CVPR 2020最全GAN论文梳理汇总!

附下载 | 《Python进阶》中文版

附下载 | 经典《Think Python》中文版

附下载 | 《Pytorch模型训练实用教程》

附下载 | 最新2020李沐《动手学深度学习》

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 | 超100篇!CVPR 2020最全GAN论文梳理汇总!

附下载 |《计算机视觉中的数学方法》分享

Paint Transformer:以“笔画预测”的方式来作画!_第7张图片

你可能感兴趣的:(百度,深度学习,人工智能,计算机视觉,神经网络)