关于PRelu：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

前言

内容是经典激活函数PRelu的提出

内容

上图左为Relu，右图为PRelu，P相比传统Relu，在坐标系左边有数值。用公式解释：

当ai=0时，成为Relu；当ai是一个小且固定的数值，则变成Leaky Relu（ai=0.01），LRelu的motivation是为了防止零梯度，即坐标轴左侧有数值。但是在一些研究上，显示LRelu对于精度的影响微乎其微。

Prelu相比Relu只增加了一丁点参数，模型大小上几乎没有任何影响。

实验

这里是几个模型：

在相同的结构A下Prelu比Relu效果好（数值越低错误率越低），同时，在深度更深/维度更多的网络结构使用Prelu能够达到更好的效果