一层、两层及多层神经网络 与 激活函数作用 理解

一层、两层及多层神经网络 与 激活函数作用 理解_第1张图片

一层网络实际上是一个线性函数,即权重W与输入x相乘(偏置项包含其中)

当我们增加一层,变为两层神经网络

一层、两层及多层神经网络 与 激活函数作用 理解_第2张图片 

这里的max是将第一层负数结果置为0

用权重W2乘第一层结果

当我们扩展到三层即更多层,也是类似

一层、两层及多层神经网络 与 激活函数作用 理解_第3张图片

那么我们不使用max可以吗?

 一层、两层及多层神经网络 与 激活函数作用 理解_第4张图片

我们看到,如果没有max,W1 W2 可以合成一个大的W3,最后还是一个线性分类,没有实质性改变

所以,这里的max是不可去掉的,而这里的max,被称作激活函数

激活函数:

 一层、两层及多层神经网络 与 激活函数作用 理解_第5张图片

我们看到激活函数有很多种,也可以自己定义,我们上面使用的max,就是ReLu,也是在默认情况下效果较好的

激活函数给模型引入了非线性因素,使得深层神经网络有了意义

 

你可能感兴趣的:(课程理论,深度学习,神经网络,深度学习,人工智能)