【tips-AI】提高模型训练的Pytorch技巧

1. One Cycle学习率策略

 学习率lr很大程度上影响收敛速度和泛化性能。收敛速度很好理解，对泛化性能的影响却不是很直观。
 泛化性指模型经过训练后，应用到新数据并做出准确预测的能力。lr影响收敛，即模型训练不恰当(过拟合/欠拟合)，准确率P和召回率R有所下降，影响模型的输出，即模型泛化性能差。
 话回lr，相比于固定学习率，周期性学习率策略被证明是更有效的训练方式，如fastai中的one cycle学习率策略。从最小lr变成最大lr，再回到最小lr，最大值通常为最小值的10倍，且整个循环迭代步长应略小于总的epoch，在训练的最后部分应该允许lr下降超过最小值的几个数量级。此做法有个比较好的解释：有规律的改变学习率可以更快的越过鞍点。

  Pytorch中已经有了相应的实现CLASS torch.optim.lr_schduler.OneCycleLR(...)。此外，优化器也被提及是提高优化效率的有效方式。使用具有权重衰减而不是l2正则化的AdamW在训练时间和出现错误的情况都优于Adam，同样的Pytorch中已集成该功能。

2. Batch size

 通常batch-szie根据数据量设置，使用GPU允许的最大值以加速训练，但这么做可能导致训练效果比小的batch-size更差。值得一提的是，如果修改了batch-size，还必须也同步调整lr等超参。一般batch-size加倍时，lr也需要加倍。可以参考OpenAI一篇关于不同大小batch-size所需收敛步数的论文—《An Empirical Model of Large-Batch Training》

3. num_workers & pin_memory

 使用DataLoader时num_workers默认为0,该参数用来设定DataLoader用于进行数据加载的子进程个数。设置为0则每轮迭代不会有子进程将数据自主加载至内存，找不到batch数据再加载，所以速度会很慢；当不为0时，DtatLoader将一次性创建多个子进程，并分配属于各自的batch。每个子进程负责将batch加载进内存，这也就意味着找寻batch的速度很快，因为后面的迭代数据在前几轮早就已经加载完毕。但是num_workers设置过大时，内存开销也随之变大，加重CPU的负担。虽然num_workers与CPU相关，但是一个常用的经验是，设置为可用CPU数量的4倍，过大过小都将导致速度变慢。
 此外，如果硬件性能足够好的话，可以将pin_memory设置为True。这样将数据加载至GPU上的速度更快

4. 自动混合精度训练

 即常说的Automatic Mixed Precision — AMP，在Pytorch1.6中集成了该功能。

	import torch
	# Create once at the beginning of training
	scaler = torch.cuda.amp.GradScaler()
	
	for data, label in data_iter:
		optimizer.zero_grade()
		# Casts operations to mixed precision
		with torch.cuda.amp.autocast():
			loss = model(data)
		
		# Scales the loss, and calls backward() to create scaled gradients
		scaler.scale(loss).backward()
		# Unscales gradients and calls or skips optimizer.stop()
		scaler.step(optimizer)
		# Updates the scale for next iteration
		scaler.update()

 主要思想是在某些操作中使用半精度FP16,而不是一味地使用单精度FP32。AMP会自动决定应该使用哪种格式执行什么操作，在不损失精度的情况下达到更快的训练速度与占用更小内存的目的。

5. torch.backends.cudnn.benchmark

 若模型结构固定且保持输入大小不变，可以将cudnn.benchmark设置为True，可以加速训练。因为这会使cudnn中自动调整参数的模块，对不同计算卷积的方式进行benchmark测试，自动选择最优的卷积方法。需要注意的是启动算法前期比较慢但跑起来之后很快，且若输入大小改变，每改变一次则需要重新配置计算，会使得效率变低。

6. torch.nn.parallel.DistributedParallel

 Pytorch中虽然DataParallel能够以最低的编码实现单机多卡并行，且仅需要修改一行代码，但通常无法提供最佳性能，因为在每一次前向传播过程中都会复制模型。并且其单进程多线程并行性自然会受到Python中的GIL(全局解释器)的影响。Pytorch推荐使用DistributedDataParallel—DDP，使用多进程并行，因此模型副本之间没有GIL争用。
 此外模型在DDP构建时进行broadcast，而不是在每次传播时进行，这有助于加快模型训练。

7. 梯度累加

 这是增加batch的另一种方式。核心思想是在调用optimizer.step之前，在多个backward中累积梯度。训练时的实现过程如代码所示：

	model.zero_grad()
	for i, (inputs, labels) in enumerate(training_set):
		predictions = models(inputs)
		loss = loss_function(preditions, labels)
		loss = loss / accumulation_steps
		loss.backward()
	for (i+1)%accumulation_steps == 0:
		optimizer.step()
		model.zero_grad()

 首先重置梯度，在for循环遍历数据时喂入模型进行前向传播，紧接着计算loss，除以累积步长求取均值，再反响传播，每当到达累计步长再进行优化器更新与重置梯度。这种方法主要是规避GPU内存限制而设计，fastai论坛中提到这样操作可以加速训练。
 注意，如果处于验证阶段，千万千万设置torch.no_grad()。

8. 梯度裁减

	gradient = min(gradient, threshold)
	torch.nn.utils.clip_grad_norm_

 最初用于避免RNN中的梯度爆炸，粗率的可以如上用threshold截断以达到加速收敛的目的。在Pytorch中已集成该功能，目前被证明对基于Transformer和ResNets等架构非常有用。

9. BN层卷基层中的bias

 关于BatchNormalization应该知道的是，如果在二维卷积层后紧跟BN层，需要将conv2d中bias设置为False。另外，BN层中需要训练的参数有两个γ和
 在早期神经网络训练时，只是对输入数据进行了归一化处理却忽视了中间层。虽然对输入数据进行了归一化，但是数据经过矩阵乘法以及非线性运算之后，数据分布很可能被改变。随着网络不断加深，数据改变越来越大。如果能在网络的中间层也进行归一化处理，对网络的训练起到改进作用，这种在神经网络中间层也进行归一化的处理就是批归一化BatchNormalization。因此BN层作用是将数据调整至标准分布，添加bias并无作用。
 此外，单纯的归一化会导致网络表达能力下降，所以，增加两个学习来的参数—γ和β，用来对变换后的激活反变换，使得网络表达能力增强

10. 陋习改正

• torch.cpu() <---> torch.cuda()
   将tensor数据频繁地在CPU和GPU之间来回转换是非常昂贵的。

• torch.tensor(); torch.as_tensor(); torch.from_numpy()
   如果经常将numpy数据转化成tensor，有时候会用到torch.tensor()，这样做可以达到目的，但是该操作会执行复制数据的步骤，效率低下。可以使用torch.as_tensor()或torch.from_numpy()避免这种情况。