pix2pix论文纪录

pix2pix的应用及优点

pix2pix可以用来进行图像风格转换,例如可以将白天的图像转换为晚上的图像,将素描图转换彩色照片等。其效果如下图。pix2pix论文纪录_第1张图片当然在pix2pix之前有许多算法都可以用来进行图像风格转换。但是这些算法都有一个缺点。那就是他们是针对某一个特殊的功能来设计的。比如说如果我们想要实现把白天的图片转化成夜晚的图片的功能。我们就需要为这个功能设计一个专属于它的损失函数。当我们想要实现从素描图转换为彩色照片的功能的时候。我们又需要重新为这个功能设计一个新的损失函数。

pix2pix就提出了这样一种方法,使得我们不必要为每个功能都重新设计一个损失函数。而是为所有的风格转换都设定一个总的目标:即风格转换了之后产出的图片要和我指定图片的风格一样,之后让网络按照这个目标自己去学习损失函数。我们可以利用GAN来实现这个目标。

pix2pix所使用的方法

pix2pix论文纪录_第2张图片
如我们想要将图像 x 转换为图像 y 的风格,我们先将成对的图像 (x , y) 输入到对抗神经网络之中去。 在该对抗网络之中。生成器G将x作为输入,产出G(x)。辨别器的目标是将成对的(x, y),标记为real,对于通过生成器G产生的(x,G(x))标记为fake。

生成器的目标之一就是产生出来的G(x)要和y的风格相同,能够骗过辨别器D。让D认为G(x)确确实实是图像y的风格。当然我们不仅仅只是要风格与y一样,我们还要求产生的G(x)和原先的x也是成对的。这就需要conditional GAN的技术,将 x也输入到辨别器D之中去。让D来辨别转换之后的 G(x)和x是否是成对的。如果不成对,还是会有很大的loss。

目标函数

一般的conditionalGAN的目标函数如下:

pix2pix论文纪录_第3张图片
为了测试如果没有使用conditional GAN效果是怎样的,又设计了一个在辨别器D中不加x的目标函数。(效果很差)
pix2pix论文纪录_第4张图片
之后又有人说,如果加上传统的L1 loss对于产生的图片的效果有帮助。于是又在生成器上加上了L1 loss.

在这里插入图片描述

最后的目标函数如下:
在这里插入图片描述

你可能感兴趣的:(try)