ReLU

线性的函数，计算简单，收敛快，sparsely activated。
所谓sparsity是指模型sparsity。指模型更多的神经元是在处理有用的部分，舍弃无用的部分，所以比dense network工作更好，更快
但ReLU有个问题是dying ReLU。即如果一个神经元陷入了<0的部分，总是输出0，则这个神经元死了。这样的神经元没有用处，网络的一大部分都在无所事事。那为什么一开始这样的设计能works呢？因为在一个step中，有很多点，只要他们不是全为负数就不会斜率为0. 这个问题会出现在学习率太大或者有个很大的负偏差。
要解决这个问题，通常使用低的学习率，或者Leaky ReLU或ELU都可以尝试。负数时也有斜率。