task01-PyTorch基础知识

[DataWhale–深入浅出PyTorch]学习笔记系列文档

文档地址： https://datawhalechina.github.io/thorough-pytorch/index.html

第一章：PyTorch的简介和安装
第二章：PyTorch基础知识
第三章：PyTorch的主要组成模块
第四章：PyTorch基础实战
第五章：PyTorch模型定义
第六章：PyTorch进阶训练技巧
第七章：PyTorch可视化
第八章：PyTorch生态简介

---

---

一、PyTorch的简介和安装

包括但不限于conda、pip管理环境、装包以及切换mirror，PyCharm中使用conda管理环境，PyTorch的安装等等。

二、PyTorch基础知识

1.常用构造tensor的函数

2.PyTorch自动求导

• 计算图包括tensor和function。function值得是计算图某个节点node所进行的运算，function内部有forward()和backward()两个方法，分别应用于正向、反向传播。
• PyTorch如果构造一个tensor时requires_grad=True的话，那么使用它得到的后续的任何tensor都会有梯度并且会有grad_fn属性记录tensor在反向传播中所需要进行的操作是什么。这个构造出来的tensor叫做leaf_tensor，可以通过tensor.is_leaf()进行判断。

a = torch.tensor(2.0, requires_grad=True)
b = a.exp()
print(b)
# tensor(7.3891, grad_fn=)
b.backward()
print(a.grad)
# tensor(7.3891)

• 叶子张量grad_fn为空，但是backward()后，就是对叶子张量求梯度，默认情况下非叶子张量的梯度都不会保存。如果想要保存中间变量的梯度可以使用tensor.retain_grad()实现，如果只是想输出中间变量的梯度可以使用tensor.register_hook实现。
• 在一个叶子张量创建完成后，对其进行改变会记录在自身，并且会将其变为非叶子张量。在这时需要用对tensor.data或tensor.detach()进行操作。也可以在with torch.no_grad():中进行操作。

---

参考

• https://datawhalechina.github.io/thorough-pytorch/index.html
• https://zhuanlan.zhihu.com/p/69294347