深度学习: Softmax 函数

Introduction

Softmax函数，又称 归一化指数函数 。

该函数 是重要的 深度学习目标函数，也是 Sigmoid函数 的一种 推广。可转换为交叉熵误差 (CE) 。

Softmax 将向量 等比例压缩 到 [0, 1]之间，且保证 所有元素之和 为1 。

softmax(i)=ehyi∑Cj=1ehj s o f t m a x ( i ) = e h y i ∑ j = 1 C e h j

Instance：

softmax( [1, 2, 3, 4, 1, 2, 3] ) = [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]

Softmax 与 Sigmoid 的 异同

	Softmax	Sigmoid
公式	σ(z)j=ezj∑Kk=1ezk σ ( z ) j = e z j ∑ k = 1 K e z k	S(x)=11+e−x. S ( x ) = 1 1 + e − x .
本质	离散概率分布	非线性映射
任务	多分类	二分类
定义域	某个一维向量	单个数值
值域	[0,1]	(0,1)
结果之和	一定为 1	为某个正数

Sigmoid就是极端情况(类别数为2)下的Softmax。

---

[1] 深度学习: 分类 目标函数 (交叉熵误差(CE) -> 焦点损失(FL))
[2] 深度学习: 目标函数
[3] [Machine Learning] logistic函数和softmax函数