【深入浅出PyTorch】2-pytorch基础知识

2-pytorch基础知识

2.1-张量

2.1.1-什么是张量

张量（Tensor）是一个定义在一些向量空间和一些对偶空间的笛卡尔积上的多重线性映射，其坐标是|n|维空间内，有|n|个分量的一种量

——百度百科

从数值到向量，再到矩阵，量的维度不断升高，那么超过3维的我们都可以称作张量，不过更一般的，任何维度都可以用张量表示，如数值就是0维，向量1维，矩阵2未，而上图中的张量就是一个三维的张量。

• 维度不限，通常为3维
• pytorch的基本运算单元
• pytorch中基础的数据定义和运算会频繁地用到张量的特性
• 张量在pytorch中支持GPU运算、自动求导等操作

2.1.2-创建tensor

见 2.1.2-创建tensor.ipynb

2.2-自动求导

2.2.1-PyTorch机制

PyTorch是如何实现模型训练的：

1. 输入数据，正向传播
2. 创建计算图
3. 计算损失函数
4. 损失函数反向传播
5. 更新模型参数

2.2.2-数学基础

多元函数求导的雅各比矩阵：
$$J=\left(\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)$$
假设有$m$个因变量$y_1,\dots ,y_m$, 和$n$个自变量$x_1,\dots ,x_n$, 那么$Y$对$X$的导数可以用矩阵$J$的形式表示出来。

链式求导法则：

若$h(x)=f(g(x))$，则$h^{\prime }(x)=f^{\prime }(g(x))\ast g^{\prime }(x)$

PyTorch自动求导：

损失函数$l$对输出$y$的导数为
$$v=\left(\begin{array}{lll}\frac{\partial l}{\partial y_1}& \cdots & \frac{\partial l}{\partial y_m}\end{array}\right)$$
那么$l$对输入$x$的导数为
$$vJ=\left(\begin{array}{lll}\frac{\partial l}{\partial y_1}& \cdots & \frac{\partial l}{\partial y_m}\end{array}\right)\left(\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right)=\left(\begin{array}{lll}\frac{\partial l}{\partial x_1}& \cdots & \frac{\partial l}{\partial x_n}\end{array}\right)$$

2.2.3-动态计算图

将动量和张量创建动态计算图

动态图单元包括：

• data：数据，如torch.tensor(1.0)
• requires_grad：是否计算导数
• grad：导数值
• grad_fn：导数表示函数
• is_leaf：是不是叶子节点，如果requires_grad为真，且is_leaf为假，说明计算可以停止了

2.2.4-自动求导.ipynb

2.2.4-自动求导.ipynb

动态：

不需要单独计算表达式，只需要用表达式将传参结合起来

2.3-并行计算

没GPU，略过了

总结：

• GPU算的快
• 学习、研究过程中够用
• PyTorch可以在不同设备中计算