mxnet中自动求梯度遇到的坑：梯度不变化

问题描述

最近笔者在自学深度学习，为了巩固mxnet自动求梯度的用法，决定手动实现一下最简单的多元线性回归算法
但在实现过程中，发现最终的结果与实际值相差很大，最后查看日志发现，是梯度值一直都没有变化
原始的部分代码如下

solve_w=nd.random.normal(scale=0.01,shape=(3,))
solve_w.attach_grad()

with autograd.record():
    a = loss(solve_w)
a.backward()

for i in range(1000):
    grad=solve_w.grad
    print(grad)
    solve_w[:]=solve_w-0.01*grad

其中loss是平方均值损失函数，通过在这里面添加日志发现，这个函数只被调用了一次

解决方案

最后通过比对与网上的代码，发现

with autograd.record():
    a = loss(solve_w)
a.backward()

这段代码需要放在for循环里面
最终代码改成

solve_w=nd.random.normal(scale=0.01,shape=(3,))
solve_w.attach_grad()

for i in range(1000):
    with autograd.record():
        a = loss(solve_w)
    a.backward()

    grad=solve_w.grad
    print(grad)
    solve_w[:]=solve_w-0.01*grad

便可以得出正确结果了