gumbel-softmax trick

VAE和GAN里面训练的时候常用的技巧，主要是为了解决那种预测是"hard"，即输出是一个one-hot的决策时，没有办法直接计算后续损失的情况。而使用softmax强制其输出为概率分布的话，虽然可以计算后续损失，但是其本质上还是argmax的含义。为了能够在模型决策训练的过程中引入一定的随机性(个人理解为决策的soft程度，而不是单纯的hard)，尤其是在Reinforce Learning里面，常用一个trick就是gumbel-softmax。其核心思想是利用gumbel分布进行采样，增加模型决策的随机性，使其决策空间更加平滑，同时该采样过程不在计算图中，因此后续求导依然可以进行。

具体而言，详见该博客：
Gumbel-Softmax Trick