激活函数篇 03 —— ReLU、LeakyReLU、RandomizedLeakkyReLU、PReLU、ELU
本篇文章收录于专栏【机器学习】以下是激活函数系列的相关的所有内容:一文搞懂激活函数在神经网络中的关键作用逻辑回归：Sigmoid函数在分类问题中的应用整流线性单位函数（RectifiedLinearUnit,ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。ReLU(x)=max(0,x)\text{ReLU}(x)=\max(0,x