动手学习深度学习1-2-深度学习的一般步骤

生成数据集

我们构造一个简单的人工训练数据集，它可以使我们能够直观比较学到的参数和真实的模型参数的区别。设训练数据集样本数为 1000，输入个数（特征数）为 2。给定随机生成的批量样本特征 X∈ℝ1000×2X∈R1000×2，我们使用线性回归模型真实权重 w=[2,−3.4]⊤w=[2,−3.4]⊤ 和偏差 b=4.2b=4.2，以及一个随机噪音项 ϵϵ 来生成标签

 

y=Xw+b+ϵ,y=Xw+b+ϵ,

其中噪音项 ϵϵ 服从均值为 0 和标准差为 0.01 的正态分布。下面，让我们生成数据集。

定义模型：

构造一个数据迭代器-》定义网络模型、定义损失函数、定义优化模型-》训练模型

训练模型

在训练中，我们将多次迭代模型参数。在每次迭代中，我们根据当前读取的小批量数据样本（特征X和标签y），通过调用反向函数backward计算小批量随机梯度，并调用优化算法sgd迭代模型参数。由于我们之前设批量大小batch_size为 10，每个小批量的损失l的形状为（10，1）。由于变量l并不是一个标量，运行l.backward()将对l中元素求和得到新的变量，再求该变量有关模型参数的梯度。

在一个迭代周期（epoch）中，我们将完整遍历一遍data_iter函数，并对训练数据集中所有样本都使用一次（假设样本数能够被批量大小整除）。这里的迭代周期个数num_epochs和学习率lr都是超参数，分别设 3 和 0.03。在实践中，大多超参数都需要通过反复试错来不断调节。当迭代周期数设的越大时，虽然模型可能更有效，但是训练时间可能过长。

 

%matplotlib inline
from IPython import display
from matplotlib import pyplot as plt 
from mxnet import autograd,nd
import random
num_inputs=2#两个特征
num_examples=1000
true_w=[2,-3.4]
true_b=4.2
#y[i]=2*X[i][0]-3.4*X[i][1]+4.2+nose
features=nd.random.normal(scale=1,shape=(num_examples,num_inputs))
labels=true_w[0]*features[:,0]+true_w[1]*features[:,1]+true_b

labels += nd.random.normal(scale=0.01, shape=labels.shape)#生成方差为0.1的噪声并且加上Y才是最终的Y
#X是每一行是一个长度为 2 的向量，而Y的每一行是一个长度为 1 的向量（标量）

#用于显示图，
# def use_svg_display():
#     # 用矢量图显示。
#     display.set_matplotlib_formats('svg')

# def set_figsize(figsize=(3.5, 2.5)):
#     use_svg_display()
#     # 设置图的尺寸。
#     plt.rcParams['figure.figsize'] = figsize

# set_figsize()
# plt.scatter(features[:, 1].asnumpy(), labels.asnumpy(), 1);  
#Mxnet的数据格式为NDArray，当需要读取可观看的数据，就要调用：.asnumpy()


# 在训练模型的时候，我们需要遍历数据集并不断读取小批量数据样本。
# 这里我们定义一个函数：它每次返回batch_size（批量大小）个随机样本的特征和标签 
#通过python和yield来构造一个迭代器
def data_iter(batch_size,features,labels):
    batch_size=10
    num_examples=len(features)
    #产生一个随机索引
    idx=list(range(num_examples))
    random.shuffle(idx)#打乱顺序
    for i in range(0,num_examples):
        j=nd.array(idx[i:min(i+batch_size,num_examples)])
        yield features.take(j),labels.take(j) #在numpy中take函数根据索引返回对应的元素
#yield就是 return 返回一个值，并且记住这个返回的位置，下次迭代就从这个位置后开始


#初始化模型参数
#我们将权重初始化成均值为 0 标准差为 0.01 的正态随机数，偏差则初始化成 0。
w = nd.random.normal(scale=0.01, shape=(num_inputs, 1))
b = nd.zeros(shape=(1,))
#我们需要对这些参数求梯度来迭代参数的值，因此我们需要创建它们的梯度。
w.attach_grad()
b.attach_grad()

#定义模型def
def linreg(X,w,b):
    return nd.dot(X,w)+b

#定义损失函数
def squared_loss(y_hat, y): 
    return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2

#定义优化算法¶
#以下的sgd函数实现了上一节中介绍的小批量随机梯度下降算法。它通过不断迭代模型参数来优化损失函数。
#这里自动求梯度模块计算得来的梯度是一个批量样本的梯度和。我们将它除以批量大小来得到平均值。
def sgd(params, lr, batch_size): 
    for param in params:
        param[:] = param - lr * param.grad / batch_size

#训练模型
# 在训练中，我们将多次迭代模型参数。在每次迭代中，我们根据当前读取的小批量数据样本（特征X和标签y），
# 通过调用反向函数backward计算小批量随机梯度，并调用优化算法sgd迭代模型参数。
# 由于我们之前设批量大小batch_size为 10，每个小批量的损失l的形状为（10，1）。
# 由于变量l并不是一个标量，运行l.backward()将对l中元素求和得到新的变量，再求该变量有关模型参数的梯度。
# 在一个迭代周期（epoch）中，我们将完整遍历一遍data_iter函数，并对训练数据集中所有样本都使用一次（假设样本数能够被批量大小整除）。
# 这里的迭代周期个数num_epochs和学习率lr都是超参数，分别设 3 和 0.03。
# 在实践中，大多超参数都需要通过反复试错来不断调节。当迭代周期数设的越大时，虽然模型可能更有效，但是训练时间可能过长。
lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss
batch_size=10
for epoch in range(num_epochs):  # 训练模型一共需要 num_epochs 个迭代周期。
    # 在一个迭代周期中，使用训练数据集中所有样本一次（假设样本数能够被批量大小整除）。
    # X 和 y 分别是小批量样本的特征和标签。
    for X, y in data_iter(batch_size, features, labels):
        with autograd.record():
            l = loss(net(X, w, b), y)  # l 是有关小批量 X 和 y 的损失。
        l.backward()  # 小批量的损失对模型参数求梯度。
        sgd([w, b], lr, batch_size)  # 使用小批量随机梯度下降迭代模型参数。
    train_l = loss(net(features, w, b), labels)
    print('epoch %d, loss %f' % (epoch + 1, train_l.mean().asnumpy()))

神经网络的基本步骤：https://blog.csdn.net/cyan_soul/article/details/81122082