训练正常&异常的GAN损失函数loss变化应该是怎么样的

这里以个人用到的一个网络为例,仅供参考,不代表所有情形。
用tensorboard记录loss曲线的走向,横轴为迭代次数(iter),纵轴为损失(loss)值。


正常的

判别器loss
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第1张图片
loss在2.6到3.4之间来回上下波动。注意,在tensorboard中,最好将Smoothing值调整为0,如果使用了Smoothing将比较难观察到loss的波动趋势,这里以Smoothing为0.999为例,还是展示判别器损失:
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第2张图片
这个时候容易误判为判别器loss在稳步下降。不过实际上可以发现这个"下降"从3.25降到了3.05,所以本质上还是小范围波动。
生成器loss
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第3张图片
loss在3.0到3.6之间来回上下波动。类似的,观察Smoothing为0.999时的情况:
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第4张图片
给人的感觉是生成器loss一直在往上跑,可能会怀疑生成器没在进一步学习;但实际上仔细看容易发现只是从3.25跑到了3.35,依旧是在一个小区间内波动,生成器的能力确实是在继续逐步增强的。


生成器崩溃

判别器loss
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第5张图片
可以发现从3一路下降到了0.8,在训练一开始就有在快速下降。观察Smoothing为0.999时的情况:
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第6张图片
生成器loss
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第7张图片
可以发现从4一路上升到了6.5,在训练一开始就有在快速上升。观察Smoothing为0.999时的情况:
训练正常&异常的GAN损失函数loss变化应该是怎么样的_第8张图片
从结果的角度出发,在生成器loss快速上升的时候,其已经开始生成无意义的噪声图像:
在这里插入图片描述


小结

从原理上来说,生成器和判别器从一开始都是非常弱的,因此一般不会在训练一开始两者损失就非常剧烈的波动。在训练一段时间达到稳定期后,生成器和判别器的损失都应该在一个小区间内波动,而不会有明显的持续上升/下降趋势。
如果生成器损失持续明显上升,表明其无法学习怎么欺骗判别器,体现在结果上就是开始生成噪声。
如果判别器损失持续明显上升,表示其无法学习怎么识别生成器,体现在结果上就是生成器可能会生成一致的,无意义的但是能欺骗判别器的图像(比如直接输出训练集中的样本)。

你可能感兴趣的:(杂文,划水)