sigmoid和softmax函数

转载：https://blog.csdn.net/CFH1021/article/details/104841428添加链接描述
激活函数简介
从事或对人工智能行业有了解的人员来说，相信对softmax和sigmoid这两个激活函数并不陌生，这两个激活函数实不仅在逻辑回归有应用，也是在面试或笔试中包含的内容，掌握好这两个激活函数及其衍生函数是很重要也是最基础的。下面详细介绍softmax和sigmoid：

softmax函数
在数学上，softmax函数又称归一化指数函数，是逻辑函数的一种推广。它能将一个喊任意实数的k维的向量z的“压缩”到两一个k维向量σ(z) 中，使得每一个元素的范围都在（0, 1)之间，并且所有元素和为1。
softmax函数的性质
softmax函数的公式是：

  x：输入数据；
  exp：指数运算；
  f(x)：函数输出；
  将所有的x值映射到0到1区间内；
 所有x的映射值的和等于1。

softmax函数的使用
用于多重分类逻辑回归模型。
在构建神经网络时，在不同的层使用softmax函数；softmax在神经网络中是作为一个全连接层出现的，功能是将网络计算后的结果映射到(0, 1)区间，给出每种分类的概率。

sigmoid函数
sigmoid函数是一个生物学上常见的S型函数，也称为S型生长曲线。在sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

sigmoid函数的性质
sigmoid函数的公式是：

x：输入数据；
  exp：指数运算；
  f(x)：函数输出，为浮点数；

sigmoid函数的使用
Sigmoid函数用于逻辑回归模型中的二进制分类。
在神经网络中，sigmoid函数用作激活函数。
在统计学中，S形函数图像是常见的累积分布函数。