激活函数总结

leakyRelu()激活函数

ReLU函数在输入大于0时返回输入值，否则返回0。

Leaky ReLU在输入小于0时会返回一个较小的负数，以保持一定的导数，使得信息可以继续向后传播。

Leaky ReLU函数：

f(x) = max(ax, x)

其中，a是一个小于1的常数，通常取0.01。当输入x大于0时，输出与输入相同；当输入x小于0时，输出为a乘以输入x的值。