图像风格迁移--梵高毕加索笔下的世界

想看看梵高笔下的你吗?想看看毕加索眼中的世界吗?今天,这一切已经成为现实,接下来我就来简单介绍一下种深度学习技术来帮助大家了解计算机是真样画画的。

废话不多说,大家可以先看看实验结果:


图像风格迁移--梵高毕加索笔下的世界_第1张图片


图像风格迁移--梵高毕加索笔下的世界_第2张图片
图像风格迁移--梵高毕加索笔下的世界_第3张图片
图像风格迁移--梵高毕加索笔下的世界_第4张图片
图像风格迁移--梵高毕加索笔下的世界_第5张图片

怎么样,计算机的绘画水平可以吧。第一副图片是厦门大学最高建筑,以下四幅图片就是对应的风格图片和计算机生成的迁移图片啦,很炫酷有木有。目前该技术已经商用,国外有一款app叫prisma,就可以根据用户的需要生成相应的风格迁移图片啦,不过服务器在国外,中国好像下载app后申请服务没有响应。

下面我就简单讲讲这项技术背后的原理啦,网上已经有很多博客讲过啦,但我还是想写,毕竟菜鸡要进化啊,哈哈哈。该技术的首创者也就是“A Neural Algorithm of Artistic Style”这篇论文的一作Leon A. Gatys在研究VGG19网络的时候发现CNN网络的高层可以得到图片的结构信息,低层可以得到图片的风格信息,于是作者就想啊,把两幅图片的风格和结构结合起来不就是图像风格迁移了吗,就这样该技术横空出世,计算机从此学会了画画。

duangduangduang,敲黑板啦,先简单介绍一下VGG19,这个是一种深度学习网络,有·十九层,大概长这样:


图像风格迁移--梵高毕加索笔下的世界_第6张图片

作者使用conv4_2提取结构特征,然后使用conv1_1,conv2_1,conv3_1,conv4_1,conv5_1提取风格特征,最后把两个特征按照一定的比例相加,在加点盐啊料酒啊,还有爱心啊神马的,一副特定艺术风格的图片就诞生了,是不是棒棒的。


图像风格迁移--梵高毕加索笔下的世界_第7张图片

考虑到是个文艺的平台,什么损失函数,Gram矩阵都去死吧,大家可以想象有三个管道,风格图片从左边管道进去被分解成许多小碎片,结构图片从右边管道进去,用来限定生成图片的样子,然后两种内容在中间相遇,不停的迭代优化,慢慢的就产生了结合两者自身特点的风格迁移图片啦。

但是该技术有个缺点,就是太慢啊,是一个生成过程,要不停的迭代优化,直到得到满意的结果为止,同时不同的结构图片和风格图片的差异性不同,要得到满意的风格迁移图片还要调整参数,这就极大的影响了该方法的泛化性能。于是2016年,李飞飞老师的学生出手了,他们对该方法进行了优化调整,设计出了一种实时的快速风格迁移网络,大概长这样:


图像风格迁移--梵高毕加索笔下的世界_第8张图片

该网络主要训练后面彩色的那部分损失网络,一劳永逸,训练完就可以直接拿来用啦,效果也比初始方法好很多。第二种网络还没来得及仔细看,以后看完再回来详细讲吧,就酱。

你可能感兴趣的:(图像风格迁移--梵高毕加索笔下的世界)