各种activation function(激活函数) 简介

之前在使用activation function的时候只是根据自己的经验来用，例如二分类使用sigmoid或者softmax，多分类使用softmax，Dense一般都是Relu，例如tanh几乎没用过，最近在复线别人代码的时候发现别人Dense层使用的tanh激活函数，所以决定系统的看一下各类激活函数以及其优缺点。

激活函数分类线性和非线性，例如Dense层如果不指定激活函数则会默认activation = ‘linear’，常见的非线性激活函数有sigmoid、softmax、relu、tanh等。

一、Sigmoid函数

sigmoid激活函数的优点是它是便于求导的平滑函数，但是缺点有：

1、容易出现梯度消散现象

2、函数的输出并不是zero-centered的

3、幂运算相对耗时

二、tanh函数

tanh函数解决了zero-centered问题，但是梯度消散和幂运算问题依旧存在。

三、ReLu函数

ReLU函数其实就是取最大值，虽然很简单但是有很多优点：

1、解决了梯度消散的问题（在正区间）

2、计算速度快

3、收敛速度快

但是ReLU也有一些问题：

1、ReLU的输出不是zero-cemtered

2、可能会导致某些神经元永远不会被激活，从而导致对应的参数不能被更新。主要有两种可能导致这种现象的情况：(1)非常不幸的参数初始化 (2)学习率太高

 

但是整体来看目前最好用的还是ReLU！！！