pytorch 笔记：torch.nn.utils.clip_grad_norm_

1 基本介绍

用于防止在训练神经网络时出现梯度爆炸的问题。

梯度裁剪通过限制梯度的范数来防止梯度的值变得过大

2 工作方式

1. 计算所有参数的梯度的范数。范数可以是任意的p-范数，通过 norm_type 参数设置，默认为 2-范数（即欧几里得范数）。

2. 将梯度按比例缩放以确保其范数不超过 max_norm。

3 基本使用方法

torch.nn.utils.clip_grad_norm_(
    parameters, 
    max_norm, 
    norm_type=2.0, 
    error_if_nonfinite=False, 
    foreach=None)

4 参数说明

parameters	要进行梯度范数裁剪的张量或张量的可迭代集合
max_norm	梯度的最大范数。
max_norm	用于计算范数的类型。默认是 2，表示 2-范数。你也可以使用 1 表示 1-范数，或 'inf' 表示无穷范数
error_if_nonfinite	如果设置为 True，当梯度的总范数是 nan、inf 或 -inf 时将抛出错误。默认是 False。
foreach	是否使用基于 foreach 的更快实现。如果为 None，则对于 CUDA 和 CPU 的本机张量使用 foreach 实现，并且对于其他设备类型默默地回退到慢速实现

 5 举例

# 假设 model 是你的神经网络
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)
# ... 在你的训练循环中
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
# 在执行 optimizer.step() 之前，先裁剪梯度
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()