Reparameterization 重参数/Gumbel-Max/Gumbel-Softmax

1、三者之间的关系

  重参数是一种处理期望形式目标函数的方法，处理这种目标函数意味着要从分布中采样。该分布中带有参数，如果直接采样的话，就会失去参数的梯度。而重参数提供这样一种变换，是我们可以直接从分布中采样，并且保留参数的梯度。

  如果从离散分布中采样，需要定义一种可微分的与离散分布近似的取样方法，这就需要用到Gumbel-Softmax。

  Gumbel-Max是Gumbel-Softmax的基础，提供了一种从类别分布中采样的方法。但Gumbel-Max因为存在取最大值的操作，故其不可导。而Gumbel-Softmax是Gumbel-Max的光滑近似版，其可导，可以保证参数的反向传播。

  参考资料：

漫谈重参数：从正态分布到Gumbel-Softmax

函数光滑化杂谈：不可导函数的可导逼近

词向量和embedding

2、重参数的一般方法

 首先从无参分布中采样，然后通过变换实现要完成分布的采样（连续分布是直接进行变换，离散分布是依概率进行采样）。

3、softmax和Gumbel-Softmax的区别

  分类任务用softmax，它并不是采样过程，因为它不包含随机性。Gumbel-Softmax从均匀分布中进行采样，进行随机扰动，保证了采样的随机性。

参考资料：

如何理解Gumbel-Max trick

Gumbel-Softmax Trick和Gumbel分布