Pytorch-Adam算法解析

关注B站可以观看更多实战教学视频：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

Hi，兄弟们，这里是肆十二，今天我们来讨论一下深度学习中的Adam优化算法。

Adam算法解析

Adam算法是一种在深度学习中广泛使用的优化算法，它的名称来源于适应性矩估计（Adaptive Moment Estimation）。Adam算法结合了两种扩展式的随机梯度下降法的优点，即适应性梯度算法（AdaGrad）和均方根传播（RMSProp）。它通过计算梯度的一阶矩估计和二阶矩估计，为不同的参数设计独立的自适应性学习率。

具体来说，Adam算法的特点和工作原理如下：

1. 惯性保持：Adam算法记录了梯度的一阶矩，即过往所有梯度与当前梯度的平均，使得每一次更新时，梯度能平滑、稳定地过渡。这种惯性保持的特性使得算法能够适应不稳定的目标函数。
2. 环境感知：Adam算法还记录了梯度的二阶矩，即过往梯度平方与当前梯度平方的平均。这体现了算法对环境的感知能力，并为不同的参数产生自适应的学习速率。
3. 超参数解释性：Adam算法中的超参数具有很好的解释性，通常无需调整或仅需很少的微调。这些超参数包括学习率、一阶矩估计的指数衰减率、二阶矩估计的指数衰减率以及一个用于数值稳定的小常数。

在实际应用中，Adam算法已被证明在许多任务上，如计算机视觉和自然语言处理等深度学习应用中，具有优秀的性能。它特别适合处理大规模数据和参数的优化问题，以及非稳态目标和包含高噪声或稀疏梯度的问题。

总的来说，Adam算法是一种高效、易于实现的优化算法，它通过结合多种优化策略，为深度学习模型提供了更稳定、更快速的收敛性能。

Pytorch中的Adam算法

在PyTorch中，torch.optim.Adam 是实现 Adam 优化算法的类。以下是 Adam 优化器的一些关键参数解析：

• params (iterable): 待优化参数的迭代器或者是定义了参数组的字典。
• lr (float, optional): 学习率 (默认: 1e-3)。
• betas (Tuple[float, float], optional): 用于计算梯度以及梯度平方的运行平均值的系数 (默认: (0.9, 0.999))。
• eps (float, optional): 为了增加数值稳定性而添加到分母的一个项 (默认: 1e-8)。
• weight_decay (float, optional): 权重衰减 (L2 惩罚) (默认: 0)。
• amsgrad (boolean, optional): 是否使用 AMSGrad 变种算法，该算法在某些情况下能提供更好的收敛性 (默认: False)。

以下是一个简单的使用案例：

import torch  
import torch.nn as nn  
from torch.optim import Adam  
  
# 定义一个简单的模型  
model = nn.Sequential(  
    nn.Linear(10, 5),  
    nn.ReLU(),  
    nn.Linear(5, 2),  
)  
  
# 定义损失函数  
criterion = nn.CrossEntropyLoss()  
  
# 定义优化器，传入模型的参数和学习率等  
optimizer = Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)  
  
# 假设有输入数据和目标  
input_data = torch.randn(1, 10)  
target = torch.tensor([1])  
  
# 模型的训练循环（这里只展示一个迭代）  
for epoch in range(1):  # 通常会有多个epoch  
    # 前向传播  
    output = model(input_data)  
      
    # 计算损失  
    loss = criterion(output, target)  
      
    # 反向传播  
    optimizer.zero_grad()  # 清除之前的梯度  
    loss.backward()        # 计算当前梯度  
      
    # 更新权重  
    optimizer.step()       # 应用梯度更新  
  
    print(f'Epoch {epoch+1}, Loss: {loss.item()}')

在上面的例子中，我们首先定义了一个简单的两层神经网络模型，然后定义了交叉熵损失函数作为优化目标。接着，我们创建了一个 Adam 优化器实例，并将模型的参数、学习率以及其他可选参数传递给它。在训练循环中，我们执行了标准的前向传播、损失计算、反向传播以及权重更新步骤。在每次迭代结束时，我们打印出当前的损失值。

注意，实际应用中，训练循环会包含多个 epoch，并且通常会有数据加载、模型验证和保存等其他步骤。此外，学习率和其他超参数可能需要根据具体任务进行调整。