【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数(2024最新整理)
激活函数(activationfunction)的作用是对网络提取到的特征信息进行非线性映射,提供网络非线性建模的能力。常见的激活函数有Sigmoid、Tanh、ReLU、LeakyReLU和ELU等。1.Sigmoid激活函数Sigmoid是一种常见的非线性激活函数,输入实数值并将其压缩到(0,1)范围内。其缺点是当输入值较大和较小时,梯度会接近于0从而导致梯度消失问题,函数的输出也不是以0为中