深度学习实战36-Pytorch中10大优化器的遍历与选择，应用于图像识别

大家好，我是微学AI，今天给大家介绍一下深度学习实战36-pyTorch中10大优化器的遍历与选择，应用于图像识别，本文将介绍PyTorch中的10种优化器，展示如何使用PyTorch中的10种优化器，我们将使用MNIST数据集和一个简单的多层感知器（MLP）模型。本文仅用于演示不同优化器的用法，实际应用中可能需要调整超参数以获得最佳性能。

一、PyTorch中10个优化器

1. SGD (随机梯度下降)

原理：SGD 是一种简单但有效的优化方法，它通过计算梯度的期望值来更新参数。

数学公式：
θ t + 1 = θ t − η ∇ J