【神经网络与深度学习】各种激活函数+前馈神经网络理论 ① S型激活函数 ② ReLU函数 ③ Swish函数 ④ GELU函数 ⑤ Maxout单元
文章目录一、常见的三种网络结构二、激活函数(1)S型激活函数logistic函数和Tanh函数:hard-logistic函数和hard-Tanh函数:(2)ReLU函数带泄露的ReLU【leakyReLU】带参数的ReLU【ParametricReLU或者PReLU】指数线性单元【ELU】ReLU函数的平滑版本【SoftPlus】四种函数的图像(3)Swish函数(4)GELU函数(5)Maxo