《动手学深度学习》第一课：从上手到多类分类---笔记
一. 深度学习基础
1.线性回归：线性回归针对的问题输出是一个连续值。
模型：
- 权重
- 偏差
- 模型的输出是对真实结果的预测或估计
模型训练：
-
训练数据：
- 训练数据集/训练集
- 样本-标签
- 特征
-
损失函数（衡量预测值与真实值之间的误差）
- 平方损失
-
优化算法（小批量随机梯度下降）：
- 先选取一组模型参数的初始值（随机选取）；
- 对参数多次迭代，使每次迭代都可能降低损失函数的值。
- 通过固定的批量大小，求小批量中数据样本的平均损失有关模型参数的倒数（梯度），与学习率的乘积作为模型参数的迭代减小量。
模型预测
线性回归实例：
本次采用房屋（面积大小，年龄）作为预测房价的输入，通过自己构建数据集直观的了解最简单的神经网络。麻雀虽小，五脏俱全。主要涉及：
- 样本随机获取
- 定义模型（超参数定义）
- loss函数构建
- 优化参数：梯度下降
- 训练
- ⽣成数据集：
从零开始实现：
from IPython.display import set_matplotlib_formats
from matplotlib import pyplot as plt
from mxnet import autograd, nd
import random
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = nd.random.normal(scale=1, shape=(num_examples, num_inputs))
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += nd.random.normal(scale=0.01, shape=labels.shape)
Gluon 实现：
from mxnet import autograd, nd
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = nd.random.normal(scale=1, shape=(num_examples, num_inputs))
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += nd.random.normal(scale=0.01, shape=labels.shape)
- 读取数据（构建一个随机读取batch_size的函数）
从零开始实现：
batch_size = 10
def data_iter(batch_size, features, labels):
num_examples = len(features)
indices = list(range(num_examples))
# 样本的读取顺序是随机的。
random.shuffle(indices)
for i in range(0, num_examples, batch_size):
j = nd.array(indices[i: min(i + batch_size, num_examples)])
# take 函数根据索引返回对应元素。
yield features.take(j), labels.take(j)
Gluon 实现：
from mxnet.gluon import data as gdata
batch_size = 10
# 将训练数据的特征和标签组合。
dataset = gdata.ArrayDataset(features, labels)
data_iter = gdata.DataLoader(dataset, batch_size, shuffle=True)
- 定义模型
从零开始实现：
def linreg(X, w, b):
return nd.dot(X, w) + b
Gluon 实现：（相对于mxnet来说gluon已经抽象出更简单的使用方式）
在Gluon中，Sequential 实例可以看做是⼀个串联各个层的容器。在构造模型时，我们在该容器中依次添
加层。当给定输⼊数据时，容器中的每⼀层将依次计算并将输出作为下⼀层的输⼊。
作为⼀个单层神经⽹络，线性回归输出层中的神经元和输⼊层中各个输⼊完全连接。因此，线性回归的输出层⼜叫全连接层。在Gluon 中，全连接层是⼀个Dense 实例。我们定义该层输出个数为1。
from mxnet.gluon import nn
net = nn.Sequential()
net.add(nn.Dense(1))
- 初始化模型参数
从零开始实现：
w = nd.random.normal(scale=0.01, shape=(num_inputs, 1))
b = nd.zeros(shape=(1,))
params = [w, b]
for param in params:
param.attach_grad()
Gluon 实现：
from mxnet import init
net.initialize(init.Normal(sigma=0.01))
- 定义损失函数
从零开始实现：
为了避免不必要的自动广播，将y转换成与y_hat相同的形状。
def squared_loss(y_hat, y):
return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2
Gluon 实现：
from mxnet.gluon import loss as gloss
loss = gloss.L2Loss()
- 定义优化算法
从零开始实现：
def sgd(params, lr, batch_size):
for param in params:
param[:] = param - lr * param.grad / batch_size
Gluon 实现：
from mxnet import gluon
trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.03})
- 训练模型
从零开始实现：
lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss
# 训练模型⼀共需要num_epochs 个迭代周期。
for epoch in range(1, num_epochs + 1):
# 在⼀个迭代周期中，使⽤训练数据集中所有样本⼀次（假设样本数能够被批量⼤⼩整除）。
# X 和y 分别是⼩批量样本的特征和标签。
for X, y in data_iter(batch_size, features, labels):
with autograd.record():
# l 是有关⼩批量X 和y 的损失。
l = loss(net(X, w, b), y)
# ⼩批量的损失对模型参数求导。
l.backward()
# 使⽤⼩批量随机梯度下降迭代模型参数。
sgd([w, b], lr, batch_size)
print('epoch %d, loss %f'% (epoch, loss(net(features, w, b), labels).mean().asnumpy()))
Gluon 实现：
num_epochs = 3
for epoch in range(1, num_epochs + 1):
for X, y in data_iter:
with autograd.record():
l = loss(net(X), y)
l.backward()
#按照小批量随机梯度下降的定义，我们在step 函数中指明批量⼤小，以确保小批量随机梯度是该批量中每个样本梯度的平均。
trainer.step(batch_size)
print('epoch %d, loss: %f'% (epoch, loss(net(features), labels).mean().asnumpy()))
2.softmax回归：softmax回归针对分类问题。
和线性回归⼀样，softmax 回归也是⼀个单层神经⽹络。
和线性回归有所不同的是，softmax 回归输出层中的输出个数等于类别个数，因此从⼀个变成了多个。
Softmax 运算
其softmax回归的输出为各个预测类的置信度，并将其中最大的值作为预测输出。为了量化这个输出结果，通过softmax运算将其转换成概率。
^y1; ^y2; ^y3 = softmax(o1; o2; o3):（^y1 + ^y2 + ^y3 = 1 且^y1 >= 0; ^y2 >= 0; ^y3 >= 0）
交叉熵损失函数
想要预测分类结果正确，其实并不需要预测概率完全等于标签概率（即为1）。故采用交叉熵损失函数。交叉熵只关心对于正确类别的预测概率，只要其值足够大，就能保证分类结果正确。
