动手学深度学习pytorch版练习解答-3.3线性回归的简洁实现

1. 如果将小批量的总损失替换为小批量损失的平均值，你需要如何更改学习率？
   解：默认的其实就是平均值(mean squared)，问题问得不对，要反过来做。学习率除batch_size即可
2. 查看深度学习框架⽂档，它们提供了哪些损失函数和初始化⽅法？⽤Huber损失代替原损失，即
   
   提供的loss如下图所示，如果需要具体了解可以使用help(torch.nn.xxxLoss)或者百度查询
   

# huber损失对应Pytorch的SmoothL1损失
loss = nn.SmoothL1Loss(beta=0.5)
num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X), y)
        #开始计算梯度
        trainer.zero_grad()
        l.backward()
        trainer.step()  #对所有参数进行更新
    print("epoch: {}, loss:{}".format(epoch + 1, l))
#一开始取1时loss比较大，改成0.5再跑一次减少，可能与迭代次数关系比较大
'''
epoch: 1, loss:0.00011211777746211737
epoch: 2, loss:0.00013505184324458241
epoch: 3, loss:4.4465217797551304e-05

'''

3. 你如何访问线性回归的梯度？

net[0].weight.grad,net[0].bias.grad
'''
(tensor([[-0.0040,  0.0027]]), tensor([0.0015]))
'''

为了可观性，这次除了需要高亮loss的，其他问题代码输出都放入了代码块中。