Tanh激活函数比Sigmoid优点在哪

Sigmoid函数:

Tanh激活函数比Sigmoid优点在哪_第1张图片

Tanh函数:

Tanh激活函数比Sigmoid优点在哪_第2张图片

优势:Tanh函数是0均值的更加有利于提高训练效率,由于Sigmoid输出是在0-1之间,总是正数,在训练过程中参数的梯度值为同一符号,这样更新的时候容易出现zigzag现象,不容易到达最优值。具体推导详见知乎:https://www.zhihu.com/question/50396271?from=profile_question_card

你可能感兴趣的:(深度学习)