softmax和分类模型 2020-02-18

softmax和分类模型

内容包含：

• softmax回归的基本概念
• 如何获取Fashion-MNIST数据集和读取数据
• softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型
• 使用pytorch重新实现softmax回归模型

softmax的基本概念

• 分类问题
  一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。
  图像中的4像素分别记为 ,,, 。
  假设真实标签为狗、猫或者鸡，这些标签对应的离散值为 ,, 。
  我们通常使用离散的数值来表示类别，例如 ,, 。
• 权重矢量
  
  
  
• 神经网络图
  下图用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出 ,, 的计算都要依赖于所有的输入 ,,, ，softmax回归的输出层也是一个全连接层。
  
  softmax回归是一个单层神经网络
  
  既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值 oi 当作预测类别是 i 的置信度，并将值最大的输出所对应的类作为预测输出，即输出 argmaxioi 。例如，如果 ,, 分别为 0.1,10,0.1 ，由于 o2 最大，那么预测类别为2，其代表猫。