【深度学习实践】02. Softmax 回归

虽然称作 Softmax 回归，但本质上 Softmax 处理的是分类问题。分类，顾名思义，即对样本数据集进行“哪一个”的解答，通常类别的范围在分类前是已知的，例如一封电子邮件，我们需要将其分类为垃圾邮件或者非垃圾邮件。通常，机器学习实践者用分类这个词来描述以下两个有微妙差别的问题：

1. 只对样本的“硬性”类别感兴趣，即想要知道其属于哪个类别；
2. “软性”的类别，即需要得到属于每个类别的概率（置信度）。

这两者的界限往往比较模糊。即使我们只关心所属的类别，我们仍然会使用类别概率的模型。以下展示分类问题的简单模型，每个 o 代表每个类别的置信度：

分类模型

通常我们通过 独热编码（one-hot encoding）对标签类别进行编码。独热编码是一个向量，它的分量和类别一样多。类别对应的分量设置为1，其他所有分量设置为0。在我们的例子中，标签将是一个三维向量，其中对应于“猫”、对应于“鸡”、对应于“狗”：

为什么不适用 1,2,3 代表猫、鸡，狗的类别，转化为回归问题呢？主要是因为三种类别互相之间没有顺序，而1和2的距离比1和3的距离更近，在回归问题中先验不同。但如果我们试图预测，那么将这个问题转变为回归问题，并且保留这种格式是有意义的。

softmax

既然我们需要根据输出类别的置信度来判断预测类别，并且通过独热编码来计算损失函数，那么接下来我们需要将输出的各类别的实数域上的值缩放到“概率分布”中，也就是确保各类别的输出和为 1，相对关系保持不变（原先相对较大的值在转化后仍然较大，负数要转化为正值）。softmax 函数可以帮助我们完成次转化：

这里，对于所有的总有。因此，可以视为一个正确的概率分布。softmax运算不会改变未规范化的预测之间的顺序，只会确定分配给每个类别的概率。因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。

尽管softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。因此，softmax回归是一个线性模型。

损失函数

我们的标签使用了独热编码，模型输出通过softmax转化为概率分布，此时我们要计算损失函数，即需要衡量两者概率之间的区别。这里我们使用最大似然估计，根据最大似然估计，对于任何标签和模型预测，损失函数为：

通常此又被成为交叉熵损失。由于是一个长度为的独热编码向量，所以除了类别项以外的所有项都消失了。由于所有都是预测的概率，所以它们的对数永远不会大于。因此，如果正确地预测实际标签，即如果实际标签，则损失函数不能进一步最小化。注意，这往往是不可能的。例如，数据集中可能存在标签噪声（比如某些样本可能被误标），或输入特征没有足够的信息来完美地对每一个样本分类（简单来说，模型输出不可能与独热编码的标签完全相同）。

对于 损失函数的导数：

换句话说，导数是我们softmax模型分配的概率与独热标签之间的差异。这使梯度计算在实践中变得容易很多。

Pytorch 实现

import torch
from torch import nn
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

# 我们在线性层前定义了展平层（flatten），来调整网络输入的形状
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 10))

def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights)

loss = nn.CrossEntropyLoss()
trainer = torch.optim.SGD(net.parameters(), lr=0.1)

num_epochs = 10
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

输出结果