2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]

机器学习中的特殊函数

  • Sigmoid
  • softplus函数
  • tanh
  • ReLu(x)
  • Leaky-Relu
  • ELU
  • SiLu/ Swish
  • Mish
  • 伽玛函数
  • beta函数
  • Ref

Sigmoid

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第1张图片

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第2张图片

值域: 【0,1】
定义域:【负无穷,正无穷】
特殊点记忆: 经过 [0 , 0.5]
关键点[0,0.5]处的导数是 0.025

相关导数:
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第3张图片

softplus函数

在这里插入图片描述

值域: (0,无穷大】
定义域:【负无穷,正无穷】
特殊点记忆: 经过 [0 , 1]
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第4张图片
其中:

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第5张图片

相关的导数性质:
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第6张图片
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第7张图片
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第8张图片

tanh

tanh ⁡ ( x ) = e x − e − x e x + e − x \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=ex+exexex

值域: 【-1,1】
定义域:【负无穷,正无穷】
特殊点记忆: 经过 [0 , 0]
关键点[0,0]处的导数是 1
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第9张图片
相关导数:
d d x tanh ⁡ ( x ) = 1 − tanh ⁡ 2 ( x ) \frac{d}{dx}\tanh(x) = 1 - \tanh^2(x) dxdtanh(x)=1tanh2(x)
关键点[0,0]处的导数是 1

ReLu(x)

这个很简单
m a x ( 0 , x ) max(0,x) max(0,x)

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第10张图片

Leaky-Relu

m a x ( α ∗ x , x ) max(\alpha * x, x) max(αx,x)

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第11张图片

α = 0.1 \alpha = 0.1 α=0.1时:
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第12张图片

ELU

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第13张图片
ELU是结合了sigmoid的左侧软饱和性和ReLU的右侧无饱和性而提出的一种新的激活函数。从上面图中不难看到这一特点。右侧线性部分使得ELU可以缓解梯度消失问题,而左侧软饱和性能让ELU对输入变化或噪声更鲁棒。而且ELU的输出均值接近于0,所以没有严重的偏移现象,所以收敛速度更快。但是计算复杂了些
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第14张图片

SiLu/ Swish

SiLU(Sigmoid Linear Unit)函数的 LaTeX 表达式是:

S i L U ( x ) = x ⋅ σ ( x ) SiLU(x) = x \cdot \sigma(x) SiLU(x)=xσ(x)

其中, σ ( x ) \sigma(x) σ(x) 表示 sigmoid 函数,即 σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1+e^{-x}} σ(x)=1+ex1

SiLU 函数的值域是 ( − ∞ , ∞ ) (-\infty, \infty) (,),因为该函数在输入值 x x x 的正负范围内都有输出。

SiLU 函数的导数表达式是:

( S i L U ( x ) ) ′ = σ ( x ) + x ⋅ σ ( x ) ⋅ ( 1 − σ ( x ) ) (SiLU(x))' = \sigma(x) + x \cdot \sigma(x) \cdot (1 - \sigma(x)) (SiLU(x))=σ(x)+xσ(x)(1σ(x))

这里的导数表达式是基于 SiLU 函数的定义和求导法则计算得出的。

需要注意的是,SiLU 函数是一种较为新型的激活函数,与传统的 sigmoid 和 ReLU 函数相比,它在某些任务上可能具有更好的性能表现。

相对于ReLU函数,SiLU函数在接近零时具有更平滑的曲线,并且由于其使用了sigmoid函数,可以使网络的输出范围在0和1之间。这使得SiLU在一些应用中比ReLU表现更好,例如在语音识别中使用SiLU比ReLU可以取得更好的效果。

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第15张图片
导数:
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第16张图片

Mish

Mish激活函数的LaTeX表达式是:

M i s h ( x ) = x ⋅ tanh ⁡ ( ln ⁡ ( 1 + e x ) ) Mish(x) = x \cdot \tanh(\ln(1 + e^x)) Mish(x)=xtanh(ln(1+ex))

Mish激活函数的值域是 ( − ∞ , ∞ ) (-\infty, \infty) (,),与SiLU函数类似,它在输入值 x x x的正负范围内都有输出。

关于Mish激活函数的导数,其LaTeX表达式相对复杂。根据导数的定义和链式法则,我们可以推导出:

( M i s h ( x ) ) ′ = tanh ⁡ ( ln ⁡ ( 1 + e x ) ) + 4 e x ( 1 + e x ) 2 (Mish(x))' = \tanh(\ln(1 + e^x)) + \frac{4e^x}{(1 + e^x)^2} (Mish(x))=tanh(ln(1+ex))+(1+ex)24ex

需要注意的是,Mish激活函数是一种相对较新的激活函数,被提出用于改善神经网络的性能。它具有一些有趣的特性,例如非单调性和自门控性质,这使得它在某些任务上可能具有更好的性能表现。与SiLU相比,Mish在一些实验中被证明能够取得更好的结果。

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第17张图片

导数图:
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第18张图片

引用原始论文,Mish 是“通过系统分析和实验发现并使 Swish 更加有效”。 就目前来说Mish可能是
最好的激活函数,但请原始论文仅在计算机视觉任务上对其进行了测试。

伽玛函数

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第19张图片
2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第20张图片
在这里插入图片描述

beta函数

2023-简单点-机器学习中常用的特殊函数,激活函数[sigmoid tanh ]_第21张图片

Ref

huaxiaozhuan

你可能感兴趣的:(神经网络,机器学习,人工智能)