深度学习基础--激活函数

深度学习基础–激活函数

最近在阅读一本书籍–Dive-into-DL-Pytorch（动手学深度学习），链接：https://github.com/newmonkey/Dive-into-DL-PyTorch，自身觉得受益匪浅，在此记录下自己的学习历程。

本篇主要记录关于三种常见的激活函数的知识。

常见的激活函数

• ReLU函数
• sigmoid函数
• tanh函数

ReLU函数

ReLU（rectified linear unit）函数提供了一个很简单的非线性变化。ReLU函数只保留正数，并将负数元素清零。其表达式为：

绘制ReLU函数图像，可以得到：

不难得出，当输入为负数时，ReLU函数值为0，则ReLU函数的导数为0。但输入为正数时，ReLU函数只为输入值x，则ReLU函数的导数为1。故ReLU函数的导数表达式为：

绘制ReLU函数的导数图像，可以得到：

sigmoid函数

sigmoid函数可以将元素的值变换到0~1之间，其表达式为：

绘制sigmoid函数图像，可以得到：

sigmoid函数的导数表达式为：

当输入为0时，sigmoid函数值为0.5，此时sigmoid函数的导数达到最大值0.25。当输入值越偏离0时，sigmoid函数的导数就越接近0。

绘制sigmoid函数的导数图像，可以得到：

tanh函数

tanh（双曲正切）函数可以将元素的值表环岛-1~1之间，其表达式为：

可见tanh函数是一个奇函数，于坐标系原点对称。绘制tanh函数图像，可以得到：

tanh函数的导数表达式为：

当输入为0时，tanh函数值为0，此时sigmoid函数的导数达到最大值1。当输入值越偏离0时，sigmoid函数的导数就越接近0。

END！