pytorch学习笔记（十四）——LOSS及其梯度

LOSS及其梯度

1.MSE

= ∑ [ − ( + )] ²

2 − = || − （ + ）|| ²

= ( − ( + )) ²

torch.norm(y-predict,2).power(2)

MSE求导：

= ∑ [ − ()] ²

∇ /∇ = 2 ∑ [ − ()] ∗ (∇()/ ∇)

∇()/ ∇ 这部分取决于网络结构，如y=wx+b的结构形式

利用pytorch自动求导

Gradient API

torch.autograd.grad(loss, [w1, w2,…]) → [w1 grad, w2 grad…]

loss.backward() → w1.grad 、w2.grad

1.1autograd.grad

返回梯度信息list

1.2 loss.backward

梯度信息在 变量.grad 里查看

2.Softmax

函数

求导

 i=j时，梯度为正；否则，梯度为负。