Gumbel Max与Gumbel Softmax演示动画

Gumbel Max以及Gumbel Softmax的理论证明见： 漫谈重参数：从正态分布到Gumbel Softmax

我用js写了一个利用Gumbel Max来对离散分布进行重参数化的过程，地址： Gumbel Max Demo

效果如下：

可以从理论上证明，利用Gumbel Max得到的分布等价于原来的离散分布。实验也验证了这点，从Demo可以看出，随着采样数量的增大，两个分布的KL散度的减小。例如下面是采样1000次和10000次得到的分布。