《深度学习》：隐藏单元

一、名词解释

激活函数：用于计算隐藏层值的非线性函数

二、整流线性单元

整流线性单元是隐藏单元极好的默认选择
整流线性单元使用激活函数g(z)=max{0,z}

整流线性单元的一个缺陷是它们不能通过基于梯度的方法学习那些使它们激活为零的样本。整流线性单元的各种扩展保证了它们能在各个位置都接收到梯度。
整流线性单元的扩展基于当zi < 0 时使用一个非零的斜率αi：

三、maxout单元

maxout 单元（maxout unit）(Goodfellow et al., 2013a) 进一步扩展了整流线性单元。maxout 单元将z划分为每组具有k个值的组，每个maxout 单元则输出每组中的最大元素：

maxout单元可以学习具有多达k段的分段线性的凸函数。maxout 单元因此可以视为学习激活函数本身。使用足够大的k，maxout单元可以以任意的精确度来近似任何凸函数。
整流线性单元和它的扩展都是基于一个原则，那就是如果它们的行为更接近线性，那么模型更容易优化。

三、其它

在引入整流线性单元之前，大多数神经网络使用logistic sigmoid 激活函数或者是双曲正切激活函数。
sigmoid单元在其大部分定义域内都饱和。sigmoid 单元的广泛饱和性会使得基于梯度的学习变得非常困难。因为这个原因，现在不鼓励将它们用作前馈网络中的隐藏单元。logistic sigmoid激活函数如下图所示：

当必须要使用sigmoid激活函数时，双曲正切激活函数通常要比logistic sigmoid 函数表现更好，因为它更像是单位函数，训练起来更容易。双曲正切激活函数如下图所示：

sigmoid激活函数在除了前馈网络以外的情景中更为常见。