神经网络激活函数与损失函数

激活函数

sigmoid输出层

对于输出层为sigmoid,如果使用均方误差函数,那么神经网络可能存在“误差很大而学习速度很慢”的情况,原因是该损失函数对权重参数的偏导数与sigmoid(x)函数有关,而在sigmoid(x)函数饱和的情况下,不论误差多大,偏导数都比较小,这样学习速度就会慢。
如果使用损失函数为cross-entropy,就能解决这种学习速度缓慢的情况,详见参考文献1.
在输出层使用K个sigmoid结点可以解决K分类问题。

softmax 输出层

输出层使用 softmax(x) 函数,该函数输入为一个m维特征向量 x ,输出为m维的向量 a .该输出层可作为m分类神经网络的输出层,输出的 a 可以看作m分类的概率分布。

RELU

缓解梯度消失问题

损失函数

欧式距离(均方误差)

学习速度与激活函数的导数相关

交叉熵

学习速度与误差有关

参考

  1. http://neuralnetworksanddeeplearning.com/chap3.html

你可能感兴趣的:(神经网络与深度学习)