[动手学深度学习(PyTorch)]——自动求导

一、自动求导

自动求导计算一个函数在指定值上的导数

1、计算图

显示构造:TensorFlow、Theano、MXNet

隐式构造:PyTorch

[动手学深度学习(PyTorch)]——自动求导_第1张图片

2、自动求导的两种模式

  • 正向传播:就是先从x出发,u1关于x的导数求出来,借助链式求导法则,此时就可以求u2关于x的导数
  • 反向传播:就是先从y出发.

[动手学深度学习(PyTorch)]——自动求导_第2张图片 二、自动求导的实现

  • x.requires_grad_(bool):是否需要定义空间保存梯度信息
  • x.grad:该属性用来获取空间中保存的梯度信息
  • x.grad.zero_():清空之前存储的梯度信息
  • backward():进行反向传播
  • x.detach():detach后相当于把变量常数化,用于需要固定参数时是很有用的

[动手学深度学习(PyTorch)]——自动求导_第3张图片

自己学习,简单笔记!!! 

你可能感兴趣的:(动手学深度学习,深度学习,pytorch)