[杂记]激活函数SiLU和Swish的区别

从代码和公式来看，Swish包含了SiLU，换句话说SiLU是Swish的一种特例。

$$SiLU(x)=x\cdot Sigmoid(x)$$

$$Swish(x)=x\cdot Sigmoid(\beta x)$$

Swish原文：https://arxiv.org/pdf/1710.05941.pdf
SiLU的出处没有找到。

主要是Swish发文的时候SiLU已经有了，所以…这就很难说了