深度学习基础(五)—— rectifier function and softplus


深度学习基础(五)—— rectifier function and softplus_第1张图片

rectifier

f(x)=max(0,x)

softplus

f(x)=ln(1+ex)

softplus vs sigmoid

f(x)=ex1+ex=11+ex

说明

softplus 是对 ReLU 的平滑逼近的解析函数形式。

References

[1] Rectifier (neural networks)

你可能感兴趣的:(深度学习基础(五)—— rectifier function and softplus)