刚开始只是想简单介绍和总结下现有的激活函数
,结果越讲越多。现在不得不开一篇新的文章来对激活函数总的内容进行标注,这样大家可以方便查找各种各样的激活函数。
目前来说(截止2023.9.28日),该激活函数版本是最全激活函数版本。后续会看情况进行更新,如果有没有提及到的激活函数,请在评论区留言,后续会将所有提及到的激活函数进行更新,可以持续关注,谢谢。。。。
激活函数系列中提及到的激活函数包括:Sigmoid
、Tanh
、ReLU
、Leaky ReLU
、PReLU
、Swish
、ELU
、SELU
、GELU
、Softmax
、Softplus
、Mish
、Maxout
、HardSigmoid
、HardTanh
、Hardswish
、HardShrink
、SoftShrink
、TanhShrink
、RReLU
、CELU
、ReLU6
、Threshold
、Sinc
、GLU
、SwiGLU
、GTU
、Bilinear
、ReGLU
、GEGLU
、Softmin
、Softmax2d
、Logsoftmax
、Identity
、LogSigmoid
、Bent Identity
、Absolute
、Bipolar
、Bipolar Sigmoid
、Sinusoid
、Cosine
、Arcsinh
、Arccosh
、Arctanh
、LeCun Tanh
、TanhExp
、Gaussian
、GCU
、ASU
、SQU
、NCU
、DSU
、SSU
、SReLU
、BReLU
、PELU
、Phish
、RBF
、SQ-RBF
、ISRU
、ISRLU
、SQNL
、PLU
、APL
、Inverse Cubic
、Soft Exponential
、ParametricLinear
、Piecewise Linear Unit
、CLL
、SquaredReLU
、ModReLU
、CosReLU
、SinReLU
、Probit
、Smish
、Multiquadratic
、InvMultiquadratic
、PSmish
、ESwish
、CoLU
、ShiftedSoftPlus
、Logit
、Softsign
、ELiSH
、Hard ELiSH
、Serf
、FReLU
、QReLU
、m-QReLU
、FReLU
、CReLU
、KAF
、Siren
、ARiA
、m-arcsinh
、PAU
、DELU
、PDELU
、CosLU
、NFN
、Hermite
、AHAF
、SERLU
、ShiLU
、ReLUN
、SSFG
、Gumbel Cross Entropy
、ScaledSoftSign
、NormLinComb
、NLSIG
、EvoNorms
、Smooth Step
、LinComb
、Nipuna
、StarReLU
、Adaptive Spline Activation Function
、Adversarial Soft Advantage Fitting
文章链接:激活函数总结(一):ReLU及其变体
文章链接:激活函数总结(二):ELU、SELU、GELU激活函数
文章链接:激活函数总结(三):激活函数补充
文章链接:激活函数总结(四):Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)
文章链接:激活函数总结(五):Shrink系列激活函数补充(HardShrink、SoftShrink、TanhShrink)
文章链接:激活函数总结(六):ReLU系列激活函数补充(RReLU、CELU、ReLU6)
文章链接:激活函数总结(七):激活函数补充(Softsign、Threshold、Sinc)
文章链接:激活函数总结(八):基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)
文章链接:激活函数总结(九)::Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)
文章链接:激活函数总结(十):激活函数补充(Identity、LogSigmoid、Bent Identity)
文章链接:激活函数总结(十一):激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)
文章链接:激活函数总结(十二):三角系列激活函数补充(Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh)
文章链接:激活函数总结(十三):Tanh系列激活函数补充(LeCun Tanh、TanhExp)
文章链接:激活函数总结(十四):激活函数补充(Gaussian 、GCU、ASU)
文章链接:激活函数总结(十五):振荡系列激活函数补充(SQU、NCU、DSU、SSU)
文章链接:激活函数总结(十六):激活函数补充(SReLU、BReLU)
文章链接:激活函数总结(十七):激活函数补充(PELU、Phish)
文章链接:激活函数总结(十八):激活函数补充(RBF、SQ-RBF)
文章链接:激活函数总结(十九):激活函数补充(ISRU、ISRLU)
文章链接:激活函数总结(二十):激活函数补充(SQNL、PLU)
文章链接:激活函数总结(二十一):激活函数补充(APL、Inverse Cubic)
文章链接:激活函数总结(二十二):激活函数补充(Soft Exponential、ParametricLinear)
文章链接:激活函数总结(二十三):激活函数补充(Piecewise Linear Unit、CLL)
文章链接:激活函数总结(二十四):激活函数补充(SquaredReLU、ModReLU)
文章链接:激活函数总结(二十五):激活函数补充(CosReLU、SinReLU)
文章链接:激活函数总结(二十六):激活函数补充(Probit、Smish)
文章链接:激活函数总结(二十七):激活函数补充(Multiquadratic、InvMultiquadratic)
文章链接:激活函数总结(二十八):激活函数补充(PSmish、ESwish)
文章链接:激活函数总结(二十九):激活函数补充(CoLU、ShiftedSoftPlus)
文章链接:激活函数总结(三十):激活函数补充(Logit、Softsign)
文章链接:激活函数总结(三十一):激活函数补充(ELiSH、Hard ELiSH)
文章链接:激活函数总结(三十二):激活函数补充(Serf、FReLU)
文章链接:激活函数总结(三十三):激活函数补充(QReLU、m-QReLU)
文章链接:激活函数总结(三十四):激活函数补充(FReLU、CReLU)
文章链接:激活函数总结(三十五):激活函数补充(KAF、Siren)
文章链接:激活函数总结(三十六):激活函数补充(ARiA、m-arcsinh)
文章链接:激活函数总结(三十七):激活函数补充(PAU、DELU)
文章链接:激活函数总结(三十八):激活函数补充(PDELU、CosLU)
文章链接:激活函数总结(三十九):激活函数补充(NFN、Hermite)
文章链接:激活函数总结(四十):激活函数补充(AHAF、SERLU)
文章链接:激活函数总结(四十一):激活函数补充(ShiLU、ReLUN)
文章链接:激活函数总结(四十二):激活函数补充(SSFG、Gumbel Cross Entropy)
文章链接:激活函数总结(四十三):激活函数补充(ScaledSoftSign、NormLinComb)
文章链接:激活函数总结(四十四):激活函数补充(NLSIG、EvoNorms)
文章链接:激活函数总结(四十五):激活函数补充(Smooth Step、LinComb)
文章链接:激活函数总结(四十六):激活函数补充(Nipuna、StarReLU)
文章链接:激活函数总结(四十七):激活函数补充(Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting)
目前大体上就这些激活函数了,可能还有一些最近提及
或者是不常用
的,没有提及到的激活函数欢迎在评论区留言。作者会后续更新的。。。。
另外,下个篇章即将开始关于损失函数的更新,关于激活函数系列不足的地方也欢迎在评论区指出。
如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦。