46、激活函数 - Relu 激活

本节介绍一个在神经网络中非常常见的激活函数 - Relu 激活函数。

什么是ReLU激活函数

ReLU 英文名为 Rectified Linear Unit,又称修正线性单元,是一种简单但很有效的激活函数,它的定义如下:

46、激活函数 - Relu 激活_第1张图片

即当输入 x 大于零时,输出等于他自己;当输入小于等于零时,输出为零,下面是relu的图像表示。

46、激活函数 - Relu 激活_第2张图片

看着是不是很简单,但是就是因为如此简单,才使得 Relu 激活在神经网络中非常常见。

为何ReLU激活函数如此常见?

ReLU之所以广泛应用,主要归功于以下几个方面:

  1. ReLU引入了非线性因素

    上节我们说了在神经网络中非线性因素是非常重要的,Relu 函数本身就是一个非线性函数,它大于零的部分是线性的,但是小于零的部分是零,从而整体上表现为一种非线性特性。

你可能感兴趣的:(CV视觉算法入门与调优,深度学习,人工智能)