【计算机视觉】三种常见的激活函数解析

问题

在笔试问答题或面试中偶尔有涉及到激活函数的问题,这里简单总结一下深度学习中常见的三种激活函数sigmoid、tanh和ReLU,以及它们各自的特点和用途。

激活函数

激活函数的作用是什么?

激活函数的主要作用是在神经网络中引入非线性因素

常见的三种激活函数

sigmoid tanh ReLU
公式 f ( x ) = 1 1 + e

你可能感兴趣的:(计算机视觉,深度学习,计算机视觉,深度学习,神经网络)