跟李沐学深度学习-softmax回归

softmax回归

  • 分类和回归的区别
    • 无校验比例
    • 校验比例
    • 交叉熵
  • 常见损失函数
    • 均方误差 L2 loss
    • 绝对值损失L1 loss
    • 鲁棒损失
  • 图像分类数据集

分类和回归的区别

回归:估计一个连续值
分类:分类预测一个离散类别
跟李沐学深度学习-softmax回归_第1张图片

无校验比例

在分类时不关心分类的值,关心对正确类别的置信度。就是要使得分类正确类别能够远大于分类出其他类别。使得预测这个分类可信。
跟李沐学深度学习-softmax回归_第2张图片

校验比例

希望能将置信度都规范到一个区间内,方便后面的操作。就引入了softmax操作,就是将每个置信度都变为指数,保证是非负值。然后再做归一化。那么就可以把一个类别的比例作为概率。那么就可以把预测的概念和真实的概念做一个损失。
跟李沐学深度学习-softmax回归_第3张图片

交叉熵

一般来采用交叉熵来衡量两个概率之间的区别。
跟李沐学深度学习-softmax回归_第4张图片

常见损失函数

均方误差 L2 loss

跟李沐学深度学习-softmax回归_第5张图片

绝对值损失L1 loss

如果在靠近原点的地方不想要那么大的梯度。则可以用L1 loss。缺点是在0地方不可导,在优化后期不稳定。
跟李沐学深度学习-softmax回归_第6张图片

鲁棒损失

跟李沐学深度学习-softmax回归_第7张图片

图像分类数据集

MNIST数据集是图像分类中广泛使用的数据集之一,但作为基准数据集过于简单。我们将使用类似但更复杂的Fashion-MNIST数据集。
跟李沐学深度学习-softmax回归_第8张图片
Fashion_mnist数据集读取视频

softmax从零开始实现
softmax用torch实现

你可能感兴趣的:(深度强化学习技术与车间调度,matlab,算法,其他)