ReLU是什么的简称？

• ReLU——Rectified Linear Unit (整流线性单元)
  $$ReLU(x)=max(0,x)$$
• ELU——Exponential linear units（指数线性单元）
  $$ELU(x)=\{\begin{array}{r}x;x\ge 0\\ a(e^x-1);x<0\end{array}$$
• Leaky ReLU

$$LeakyReLU(x)=\{\begin{array}{r}x;x\ge 0\\ ax;x<0\end{array}$$

• GeLU——Gaussian Error Linerar Units（高斯误差线性单元）

https://blog.csdn.net/liruihongbob/article/details/86510622