激活函数 逻辑回归_神经网络激活函数:sigmoid、tanh、ReLU、softmax

神经网络激活函数:sigmoid、tanh、ReLU、softmax

发布时间:2018-10-07 21:32,

浏览次数:874

, 标签:

sigmoid

tanh

ReLU

softmax

激活函数作用:

将权值结果转化成分类结果。常用于

* 逻辑回归(Logistic Regression)

* 神经网络(Neural Network)

这两处,激活函数都用于计算一个线性函数的结果。

*

sigmoid函数  :

在机器学习中可用在分类问题上,如逻辑回归模型分类器,将输出值映射到(0,1)

总和为1,可以从概率角度理解,则输出时选择值最大的(概率最大)作为预测值

Sigmoid函数的导数是其本身的函数,即 f ′ (x)=f(x) (1−f(x) )

推导:

sigmod函数关于(0,0.5)成中心对称,值域为(0,1)与概率值[0,1]对应,因此可与概率分布联系起来

(sigmod函数由伯努利分布推出:对于分类问题,尤其是二分类,都假定服从伯努利分布)

*

softmax

用于多分类过程,把多个神经元输出值映射到(0,1)总和为1,可以从概率角度理解,则输出时选择值最大的(概率最大)作为预测值

*

tanh:双曲正切

奇函数,值域:(-1,1)

导数:f '(x)=1 - f(x)^2

()

*

ReLU

ReLU(x)=max(0, x)

加快了训练速度,克服了梯度消失(层数太大)问题

区别主要在负数端ReLU(x)=max(0, x),Softplus(x)=ln(1+ex):softplus 是对 ReLU 的平滑逼近的解析函数形式。

*

BP神经网络常用函数:

Log-sigmoid型函数的输入值可取任意值,输出值在0和1之间;tan-sigmod型传递函数tansig的输入值可取任意值,输出值在-1到+1之间;线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层,该层中的神经元均采用sigmoid型传递函数,输出层的神经元则采用线性传递函数,整个网络的输出可以取任意值。

logsig

tansig

tansig(n)=2/(1+exp(-2*n))-1

传输函数的选择,这个怎么说,假设你想预测的结果是几个固定值,如1,0等,满足某个条件输出1,不满足则0的话,首先想到的是hardlim函数,阈值型的,当然也可以考虑其他的。

假如网络是用来表达某种线性关系时,用purelin---线性传输函数;若是非线性关系的话,用别的非线性传递函数,多层网络时,每层不一定要用相同的传递函数,可以是三种配合,可以使非线性和线性,阈值的传递函数等

compet---竞争型传递函数;

hardlim---阈值型传递函数;

hardlims---对称阈值型传输函数;

logsig---S型传输函数

poslin---正线性传输函数;

purelin---线性传输函数;

radbas---径向基传输函数;

satlin---饱和线性传输函数;

satlins---饱和对称线性传输函数;

softmax---柔性最大值传输函数;

tansig---双曲正切S型传输函数;

tribas---三角形径向基传输函数;

你可能感兴趣的:(激活函数,逻辑回归)