【PyTorch 学习】一、环境配置与基础知识

计算图

为了能够计算权重梯度和数据梯度,一般来说,神经网络需要记录运算过程,并构建出计算图。

静态图 (Static Graph)

在计算之前预先构建一个计算图,图中的节点是运算操作(Operator), 包括矩阵乘法和加减等,图中的边则是参与运算的张量。

动态图

在计算过程中逐渐构建计算图,最后得到神经网络的输出结果。
如果要进行反向传播的计算,动态计算图的反向传播路径只有在计算图构建完成的时候才能获得。

自动求导和反向传播

自动求导:使用反向传播算法,从计算图输出的损失函数的标量值反推计算图权重张量的梯度

你可能感兴趣的:(PyTorch)