动手学深度学习(pytorch版本) | 第三章：深度学习基础

---

---

3.1 线性回归

线性回归输出是一个连续值，因此适用于回归问题。
softmax回归则适用于分类问题。

3.1.1 线性回归的节本要素

1. 模型定义

2. 模型训练
   训练数据——>损失函数——>优化算法

3. 模型预测

3.1.2 线性回归的表示方法

3.4 softmax回归

• 简介

• softmax回归跟线性回归一样将输入特征与权重做线性叠加。softmax回归的输出值个数等于标签里的类别数。因为一共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的w）、偏差包含3个标量（带下标的b）。

• 网络类型：

• softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出结果的计算都要依赖于所有的输入，所以softmax回归的输出层也是一个全连接层。

  softmax运算符（softmax operator）将输出值变换成值为正且和为1的概率分布：

  3.4.5 交叉熵损失函数

  用损失函数来衡量两个概率分布差异的测量函数。

• 平方损失函数:
• 过于严格：( || yˆ(i)−y(i) ||^2 ) /2
• 交叉熵函数:
•  **交叉熵只关心对正确类别的预测概率**，因为只要其值足够大，就可以确保分类结果正确。但是遇到一个样本有多个标签时，例如图像里含有不止一个物体时，我们并不能做这一步简化。

  假设训练数据集的样本数为n，交叉熵损失函数定义为
  

  3.4.6 模型预测及评价

  准确率（accuracy）：
  正确预测数量 / 总预测数量。

  3.4.7 小结

• softmax回归适用于分类问题。它使用softmax运算输出类别的概率分布。
• softmax回归是一个单层神经网络，输出个数等于分类问题中的类别个数。
• 交叉熵适合衡量两个概率分布的差异。

• 3.5 图像分类数据集（Fashion—MNIST）

  torchvision包：
  它是服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。torchvision主要由以下几部分构成：

  1. torchvision.datasets: 加载数据的函数或者数据集的接口
  

  2. torchvision.models: 常用的模型结构（包含预训练模型），包含AlexNet、VGG、ResNet等；
  

  3. torchvision.transforms: 常用的图片转换（裁剪旋转等）
  

  4. torchvision.utils: 其他的一些方法。
  

  3.5.1 获取数据集

  import torch 
  import torchvishion
  import torchvishion.transforms as transforms
  import matplotlib.pyplot as plt
  import time
  import sys
  sys.path.append("..")  # 为了导入上层目录的d21zh_pytorch
  import d21zh_pytorch as d21
  

  使所有数据转换为Tensor：
  transform = transforms.ToTensor()

  **transforms.ToTensor()**将尺寸为 (H x W x C) 且数据位于[0, 255]的PIL图片或者数据类型为np.uint8的NumPy数组转换为尺寸为(C x H x W)且数据类型为torch.float32且位于[0.0, 1.0]的Tensor。
  通道数C，图像的高度 H，宽度 W

  3.6 softmax回归从零开始实现

  二、使用步骤

  1.引入库

  代码如下（示例）：

  2.读入数据

  代码如下（示例）：

  data = pd.read_csv(
      'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
  print(data.head())
  

  该处使用的url网络请求的数据。

  ---

  总结

  提示：这里对文章进行总结：
  例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。