pytorch中required_grad和detach的澄清

最近和别人讨论,发现了自己以前的认识错误的地方。

代码中的detach和required_grad的引入是减少了计算量,required_grad=false会计算误差,不计算wb的梯度(原因在于一个网路如果是ABC层这样的连接方式,B不求梯度,但是A还是会获得梯度,这就需要计算B的误差,从而传播到A,而计算B中参数的梯度就没有必要了),而detach会切断反向传播,不计算误差也不计算梯度。之所以之前会认为加不加required_grad=false和detach不影响效果,是因为只看到了输出结果的不变,没有意识到计算时间和空间需求的变化,而这两点的确是不那么容易监测出来的。另一方面是对反向传播算法的不熟练。以后下结论不能那么武断了,做实验也要学会控制变量和观察实验结果。的确写代码应该追求简洁,不写冗余的代码。这就需要分清冗余与否。

以上认识也可能和

这就印证了认识真理的反复性、前进性和上升性。

你可能感兴趣的:(pytorch学习,pytorch,detach,required_grad,认识论,梯度)