学习资源/来源：DataWhale组织-PyTorch教程、视频教程
第1章：pytorch安装
环境准备-创建虚拟环境
已安装的环境：Anaconda3 2019.03 windows(python37)
# 查看所有环境
conda env list
# conda 创建虚拟环境
conda create -n torch python=3.7
# 删除虚拟环境
conda remove -n env_name --all
# 激活环境
activate torch / sourch activate Env(Linux)
# 退出当前
deactivate
换源
一些国内镜像源
阿里云 http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
豆瓣(douban) http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
临时换源：
pip install package_name==version -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com
pip换源
Linux系统
-
用户目录下新建文件夹.pip，并新建文件pip.conf
cd ~ mkdir .pip/ vi pip.conf -
编辑并保存pip.conf文件内容
[global] index-url = http://pypi.douban.com/simple [install] use-mirrors =true mirrors =http://pypi.douban.com/simple/ trusted-host =pypi.douban.com
Windows系统
文件管理器路径地址栏输入：%APPDATA%回车，快速进入
C:\Users\电脑用户\AppData\Roaming文件夹中-
新建pip文件夹，并在文件夹中新建文件pip.ini配置文件，记事本打开填写以下内容（豆瓣源）：
[global] index-url = http://pypi.douban.com/simple [install] use-mirrors =true mirrors =http://pypi.douban.com/simple/ trusted-host =pypi.douban.com
conda换源
通过修改用户目录下的.condarc文件更改源镜像，填写以下内容（清华源）：
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
Windows系统
- 执行
conda config --set show_channel_urls yes生成.condarc文件 - 修改 C:\Users\User_name.condarc 文件，内容如上
Linux系统
cd ~
vi .condarc # 编辑以上内容，Esc退出编辑模式并:wq保存
可通过 conda config --show default_channels 检查是否换源成功。
查看显卡
windows:
cmd/terminal输入nvidia-smi（Linux与windows一样）
使用NVIDIA控制面板和使用任务管理器查看自己是否有NVIDIA的独立显卡及其型号
查看可以兼容的CUDA版本，等会安装PyTorch时是可以向下兼容的
安装PyTorch
登录pytorch官网
-
CUDA与CuDNN安装（gpu版本安装，cpu版本可忽略）
-
CUDA下载- Base Installer 即可：https://developer.nvidia.com/cuda-10.2-download-archive
- 安装完毕后安装目录下~.bin/(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2) 命令查看是否安装成功：nvcc -V
-
下载对应cuda版本的cudnn(zip)： cuDNN Archive | NVIDIA Developer
解压cudnn文件，将三个文件夹复制到cuda安装目录下（与bin同级）
-
在同级目录下，./exras/demo_suite 测试是否安装成功
- 打开cmd执行：bandwidthTest.exe，返回pass则成功
- 打开cmd执行：deviceQuery.exe，返回pass则成功
-
-
根据环境选择版本和系统，也可选择 install previous versions of PyTorch.
# CUDA 10.2 conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=10.2 -c pytorch遇到报错：
安装提示删除所在路径的文件，重启电脑即可。
注：上面conda安装方式windows系统无法成功安装gpu版本（torch.cuda.is_available()即使cuda安装后还是返回False）
pip安装：官网上选择pip安装方式，通过链接下载对应版本文件
此处可下载： https://download.pytorch.org/whl/
torch&torchvision：选择对应版本cu102, cp37
pip 安装torch&torchvision：打开cmd执行 pip install xxx.whl
-
检验是否安装成功
import torch torch.cuda.is_available() torch.__version__ torch.version.cuda
PyTorch学习资源
- Awesome-pytorch-list：目前已获12K Star，包含了NLP,CV,常见库，论文实现以及Pytorch的其他项目。
- PyTorch官方文档：官方发布的文档，十分丰富。
- Pytorch-handbook：GitHub上已经收获14.8K，pytorch手中书。
- PyTorch官方社区
- PyTorch官方tutorials：官方编写的tutorials，可以结合colab边动手边学习
- 动手学深度学习：动手学深度学习是由李沐老师主讲的一门深度学习入门课，在B站，Youtube均有回放。
- Awesome-PyTorch-Chinese：常见的中文优质PyTorch资源
第2章：pytorch基础知识
2.1张量
简介
张量是基于向量和矩阵的推广，可将标量视为零阶张量，矢量/向量为一阶张量，矩阵为二阶张量。
创建tensor
import torch
# 随机初始化矩阵
torch.rand(4,3)
# 创建全0矩阵
torch.zeros(4, 3, dtype=torch.long)
# 通过torch.zero_()和torch.zeros_like()
# 创建张量
x = torch.tensor([5.5, 3])
# 基于现有tensor,创建tensor
a = x.new_ones(4, 3, dtype=torch.double) # torch.ones(4,3,dtype=torch.double)
b = torch.randn_like(a, dtype=torch.float)
print(a.size(), b.shape())
张量的操作
加法操作：
import torch
# 方式1
x = torch.rand(4, 3)
y = torch.rand(4, 3)
print(x+y)
# 方式2
print(torch.add(x, y))
# 方式3 in-place,原值修改
y.add_(x)
print(y)
索引操作（类似numpy）
维度变换（常见torch.view()、torch.reshape()）
x = torch.randn(4, 4)
y = x.view(16)
z = x.view(-1, 8)
print(x.size(), y.size(), z.size())
注: torch.view() 返回的新tensor与源tensor共享内存(其实是同一个tensor)
广播机制
x = torch.arange(1, 3).view(1, 2)
y = torch.arange(1, 4).view(3, 1)
print(x+y)
2.2自动求导
AutoGrad
通过设置张量的.requires_grad属性，完成计算后通过调用.backward()自动计算所有的梯度。每个张量都有.grad_fn属性
from __future__ import print_function
import torch
x = torch.randn(3,3,requires_grad=True)
print(x.grad_fn)
a = torch.randn(2, 2) # 缺失情况下默认 requires_grad = False
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)
梯度
import torch
x = torch.ones(2, 2, requires_grad=True)
print(x)
y = x**2
z = y * y * 3
out = z.mean()
print(z, out)
out.backward()
print(x.grad)
# 注意：grad在反向传播过程中是累加的(accumulated)，所以一般在反向传播之前需把梯度清零。
# 再来反向传播⼀一次，注意grad是累加的
out2 = x.sum()
out2.backward()
print(x.grad)
out3 = x.sum()
x.grad.data.zero_()
out3.backward()
print(x.grad)
# 雅可比向量积
x = torch.randn(3, requires_grad=True)
print(x)
y = x * 2
i = 0
while y.data.norm() < 1000:
y = y * 2
i = i + 1
print(y)
print(i)
# torch.autograd 不能直接计算完整的雅可比矩阵
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)
print(x.grad)
# 通过将代码块包装在 with torch.no_grad(): 中，来阻止 autograd 跟踪设置
print(x.requires_grad)
print((x ** 2).requires_grad)
with torch.no_grad():
print((x ** 2).requires_grad)
修改 tensor 的数值，又不被 autograd 记录(即不会影响反向传播)， 以对 tensor.data 进行操作
x = torch.ones(1,requires_grad=True)
print(x.data) # 还是一个tensor
print(x.data.requires_grad) # 但是已经是独立于计算图之外
y = 2 * x
x.data *= 100 # 只改变了值，不会记录在计算图，所以不会影响梯度传播
y.backward()
print(x) # 更改data的值也会影响tensor的值
print(x.grad)
2.3并行计算
当服务器上有多个GPU，指定使用GPU，不设置时tensor.cuda()会默认将tensor保存到第一块GPU上，等价于tensor.cuda(0)
可通过以下两种方式设置：
# 1.设置在文件最开始部分
import os
os.environ["CUDA_VISIBLE_DEVICE"] = "2" # 设置默认的显卡
# 2.调用py文件时指定
CUDA_VISBLE_DEVICE=0,1 python train.py # 使用0，1两块GPU