BCE loss function in GAN 公式理解

BCE（Binary Cross Entropy）公式：

GAN（Generative Adversarial Network）概念回顾

GAN包括两个主要部分：generator（生成器）和discriminator（判别器）

<训练时>

生成器：输入随机噪音，输出生成图像

判别器：输入真实图像及生成图像，判断图像的真假。判别器也可以理解为分类器

注：生成器和判别器是交替训练的（并非同时训练）。训练一者的过程中另一者的参数不变。

<使用时>

生成器：输入随机噪音，输出生成图像

判别器：不使用

对抗的地方：

生成器希望自己的生成的图像能被判别器判为真实图像

判别器希望自己能够正确区分出生成图像与真实图像

公式理解

m: 一个batch中的样本数量

: 求一个batch内的平均损失，并取负 

x: 生成器生成的图像，θ: 判别器内的参数，i: 第i个样本

: 判别器对图像x的判别结果

为了看起来方便，可以简化成 ŷ

y: 图像x的真实标签，i: 第i个样本

注：真实图像标签为1，生成图像标签为0。

注：log(x)的函数图像为

 训练判别器时：

<当输入图像为真实图像，y(i) = 1>

即该样本的loss计算只需考虑logŷ

当 ŷ -> 1时，该样本的loss -> 0

当 ŷ -> 0时，该样本的loss -> -∞

<当输入图像为生成图像，y(i) = 0>

 

即该样本的loss计算只需考虑log(1-ŷ)

当 ŷ -> 0时，1-ŷ -> 1，该样本的loss -> 0

当 ŷ -> 1时，1-ŷ -> 0，该样本的loss -> -∞

训练生成器时：

我们希望生成器生成的图像更靠近真实图像！

因此训练生成器时实际使用的标签y为1！即实际使用的部分为