sigmoid和softmax函数的区别;神经网路常用的损失函数以及对应的应用场景;softmax的作用

一、Sigmoid函数和Softmax函数是常用的激活函数,它们在神经网络中经常用于实现非线性映射。

  1. Sigmoid函数:Sigmoid函数常用于二分类问题,它将输入的取值范围映射到一个介于0和1之间的输出。Sigmoid函数的公式是 f(x) = 1 / (1 + exp(-x)),其中exp(x)表示自然指数函数e的x次方。Sigmoid函数的输出可以看作是输入值的概率估计,适用于将输入映射到概率的情况。

  2. Softmax函数:Softmax函数常用于多分类问题,它将输入的取值范围映射到一个概率分布上,使得所有概率的总和为1。Softmax函数的公式是 f(x_i) = exp(x_i) / (sum(exp(x_j))),其中x_i表示输入向量的第i个元素,sum(exp(x_j))表示所有输入向量元素的指数项之和。Softmax函数的输出可以看作是输入值对应不同类别的概率分布,适用于多分类问题。

总结来说,Sigmoid函数主要用于二分类问题,将输入映射到0到1之间的概率值;Softmax函数主要用于多分类问题,将输入映射到一个概率分布上。它们都能够将非线性的输入映射到一个可解释性强的输出。

二、问题讨论:

softmax到底有哪些作用?(来自知乎softmax到底有哪些作用? - 知乎)

  1. softmax除了使得网络输出更像是一个合法的概率分布还有什么作用?
  2. 为什么这种归一化要用softmax其它的归一化方式行不行? 例如[a,b] 归一化成[a^2/(a^2+b^2), b^2/(a^2+b^2)]
  3. 为什么一个分布在多次softmax后,每个值都会趋于相同? 例如[1,100]在大约10次softmax操作后会变成[0.5,0.5];[1,2,3,4]大约5次softmax操作后会变成[0.25,0.25,0.25,0.25]。 这是巧合还是因为softmax具有使得让某个分布熵增加的作用才让其作为归一化的操作?

 来自苏剑林大佬的回答:

  • 其实合法的概率分布也不是最终目的,最终目的是定义更合理的loss,最最终的目的则是定义更合理的梯度;
  • 用其他方式当然可以,比如还有sparsemax等,但平方归一化可能不大好,因为 x2x^2 在实数范围内不是单调的,这解释原因又得联系到梯度了;至于为什么softmax最常用,大概是因为 exe^x 是能将任意实数映射到非负实数的最简单的、单调的、光滑的初等函数吧;
  • 这是一个没什么实用价值的结果,因为对softmax的结果再次进行softmax没有什么物理意义。

sigmoid和softmax函数的区别;神经网路常用的损失函数以及对应的应用场景;softmax的作用_第1张图片

三、再思考一下,神经网路常用的损失函数以及对应的应用场景  

神经网络常用的损失函数有以下几种,每种损失函数都适用于不同的应用场景:

  1. 均方误差(Mean Squared Error, MSE):适用于回归问题,即预测连续值的问题。计算预测值与真实值之间的平方差,并取平均值作为损失值。

  2. 交叉熵损失(Cross Entropy Loss):适用于分类问题,即预测多个离散类别的问题。常用的交叉熵损失有二分类交叉熵(Binary Cross Entropy)和多分类交叉熵(Categorical Cross Entropy)。二分类交叉熵适用于两个类别的分类问题,多分类交叉熵适用于多个类别的分类问题。

  3. 负对数似然损失(Negative Log Likelihood, NLL):适用于概率预测问题,即给定输入条件下的概率预测。常用于文本生成、语言模型等任务。

  4. KL散度损失(Kullback-Leibler Divergence, KLD):适用于模型优化时使用先验知识的情况,用于衡量两个概率分布之间的差异。

  5. Hinge损失:适用于支持向量机(SVM)和最大间隔分类问题。

  6. 余弦相似度损失(Cosine Similarity Loss):适用于聚类和推荐系统等任务,用于衡量两个向量之间的余弦相似度。

你可能感兴趣的:(人工智能,NLP,1024程序员节,人工智能,神经网络,损失函数,Sigmoid和Softmax)