softmax回归和交叉熵损失函数

softmax回归相对于线性回归输出单元从一个变成了多个，适合用来解决分类问题。且引入了softmax运算使得输出更适合离散值的预测和训练。交叉熵损失函数对比平方损失函数其没有那么严格，其只关注对正确类别的预测概率。

---

1.softmax

假定有4个特征，3个用于分类的类别，则有如下的12个权重，3个输出：

为什么要用softmax?

• 直接用上面的公式得到的  的值（值域）大小不定，此时使用softmax函数将其映射到 [0,1]，便于从直观上观察这些值的意义。
• 另一方面，由于真实标签是离散值，这些离散值与不确定输出范围值之间的误差难以衡量。

softmax运算：

其中：

 

2.交叉熵损失函数

为什么要使用交叉损失函数？

• 如果在分类问题里面，只关心对物体类别的正确预测概率，那么就可以使用交叉熵函数

交叉熵函数（cross entropy）：

其中分别为真实值和预测值，其中的真实值  的元素 是非 0 即 1 ，即只有真确的分类才为1，这个要与不带下标的

样品离散数值  （即等于1或者2或者3）要区分开来。如果样本只有一个标签，即{\textbf{y}}^{(i)}中只有一个元素为1，其余为0，则，从这里就可以看出交叉熵只关心正确类别的预测概率

 

假设训练样本数为n，则对应的交叉熵损失函数定义为：

其中  代表模型参数。