05.SNGAN(Spectral Normalization for Generative Adversarial Networks)

参考链接

SNGAN

  • introduce
  • method
    • 频谱范数
      • 实现
    • 奇异值
  • conclusion

introduce

现在我们的目的,是要保证对于每一个位置的 x,梯度的模都小于等于 1。在神经网络中,将梯度的模限制在一个范围内,抽象地来说就是让产生的函数更平滑一些,最常见的做法便是正则化。SNGAN(频谱归一化 GAN)为了让正则化产生更明确地限制,提出了用谱范数标准化神经网络的参数矩阵 W,从而让神经网络的梯度被限制在一个范围内。

method

频谱范数

05.SNGAN(Spectral Normalization for Generative Adversarial Networks)_第1张图片
在这里插入图片描述
在这里插入图片描述
Lipschitz
05.SNGAN(Spectral Normalization for Generative Adversarial Networks)_第2张图片
我们的目的就是为了满足Lipschitz限制

05.SNGAN(Spectral Normalization for Generative Adversarial Networks)_第3张图片
在这里插入图片描述
05.SNGAN(Spectral Normalization for Generative Adversarial Networks)_第4张图片
激活函数是ReLU。

至此我们得出了一个非常重要的结论,为了限制Θ,x的谱范数,只需要每个 ∈ {1, … , }限制的谱范数就足够了

实现

(sup上届 inf下届)
在这里插入图片描述
05.SNGAN(Spectral Normalization for Generative Adversarial Networks)_第5张图片
05.SNGAN(Spectral Normalization for Generative Adversarial Networks)_第6张图片
在这里插入图片描述

奇异值

看不懂 -_-
理解
参考

求解:
05.SNGAN(Spectral Normalization for Generative Adversarial Networks)_第7张图片

conclusion

你可能感兴趣的:(GAN,神经网络,深度学习,机器学习,正则化,python)