深度学习中的sigmod函数、tanh函数、ReLU函数

1. sigmod核函数 
sigmod函数的数学公式为: 
 
函数取值范围(0,1),函数图像下图所示: 

二. tanh(x) 函数 
tanh(x)函数的数学公式为： 

函数取值范围(-1,1),函数图像下图所示：

 
三. ReLU（校正线性单元：Rectified Linear Unit）激活函数

ReLU函数公式为 : 
 
图像为： 

四、高斯核函数（RBF） 
又称径向基函数，公式如下所示： 
 
高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。

参考文献

[1] https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit 函数说明 
[2] http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference 公式书写 
[3] https://en.wikipedia.org/wiki/Modern_Greek 阿拉伯字母 
[4]http://baike.baidu.com/linkurl=7PMqoeME8neZbhn6hsV0YPZWz1Acv2kr41WpFfTJmaqqvmjX43SkvYcrzuwN08OQHNGEFRzHiBj164Lp9JWwmatanh(x)说明