激活函数的选择

在训练神经网络中,绝大部分的调优都在于网络的构建和学习率的设定,但是激活函数和损失函数的不同选择也会带来不同的训练效果,合适的激活函数往往会带来较好的结果。

    对于非线性激活来说,中间的隐藏层普遍使用ReLU及其变体(如LReLU、PReLU、RReLU等),输出层激活函数则是要根据任务配合损失函数loss来选择。通常来说"多分类"问题的输出层激活函数选用softmax,"二分类"问题的输出层激活函数选用sigmoid,分类问题的损失函数选用交叉熵cross_entropy。然而,对于"回归"问题通常输出层的激活函数选用linear线性激活函数,损失函数选用L2正则化的均方误差或者余弦距离。需要注意的是,对于图片检索,对话生成,都有使用于各自的loss函数,需根据大牛论文学习使用。

当网络出现''梯度消失"问题时,要避免使用sigmod激活函数和tanh激活函数



 

你可能感兴趣的:(机器学习)