激活函数\梯度下降\损失函数

一个痛心疾首的发现:这些知识不管学多少遍还是会忘记……

为了加深印象,再再再再看一遍并记录下来。

一、激活函数

激活函数是每一层神经网络之后用的非线性函数,因为神经网络本身是线型的,利用激活函数可以使之实现非线性。

激活函数主要有四个: sigmoid, tanh, RELU, Leaky RELU. 还有一位博主将softmax 也加了进来。也有一定的道理,因为这五个小兄弟都是将一个维的向量映射为另一个维的向量。

接下来的话照搬这个知乎专栏

1. sigmoid
sigmoid函数及其导数

sigmoid函数会导致梯度消失(gradient vanishing)。

2. tanh
tanh
3. ReLU
ReLU
5. leaky ReLU
leaky ReLU
5. softmax


Softmax的使得映射后的元素之和为1,通常用在分类任务最后一层。

二、梯度下降

梯度下降是神经网络优化的方法,令输出逼近目标值。

啊懒得写了,看看这个博文就知道了

三、损失函数

这篇博文讲述了
交叉熵损失函数

你可能感兴趣的:(激活函数\梯度下降\损失函数)