sigmoid和softmax函数

转载:https://blog.csdn.net/CFH1021/article/details/104841428添加链接描述
激活函数简介
从事或对人工智能行业有了解的人员来说,相信对softmax和sigmoid这两个激活函数并不陌生,这两个激活函数实不仅在逻辑回归有应用,也是在面试或笔试中包含的内容,掌握好这两个激活函数及其衍生函数是很重要也是最基础的。下面详细介绍softmax和sigmoid:

softmax函数
在数学上,softmax函数又称归一化指数函数,是逻辑函数的一种推广。它能将一个喊任意实数的k维的向量z的“压缩”到两一个k维向量σ(z) 中,使得每一个元素的范围都在(0, 1)之间,并且所有元素和为1。
softmax函数的性质
softmax函数的公式是:
在这里插入图片描述
  x:输入数据;
  exp:指数运算;
  f(x):函数输出;
  将所有的x值映射到0到1区间内;
 所有x的映射值的和等于1。

softmax函数的使用
用于多重分类逻辑回归模型。
在构建神经网络时,在不同的层使用softmax函数;softmax在神经网络中是作为一个全连接层出现的,功能是将网络计算后的结果映射到(0, 1)区间,给出每种分类的概率。

sigmoid函数
sigmoid函数是一个生物学上常见的S型函数,也称为S型生长曲线。在sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。

sigmoid函数的性质
sigmoid函数的公式是:
在这里插入图片描述
x:输入数据;
  exp:指数运算;
  f(x):函数输出,为浮点数;

sigmoid函数的使用
Sigmoid函数用于逻辑回归模型中的二进制分类。
在神经网络中,sigmoid函数用作激活函数。
在统计学中,S形函数图像是常见的累积分布函数。

你可能感兴趣的:(深度学习,python,计算机视觉,算法,人工智能)