AI全栈大模型工程师(二十三)用 PyTorch 训练一个最简单的神经网络

四、求解器

为了让训练过程更好的收敛，人们设计了很多更复杂的求解器

• 比如：SGD、L-BFGS、Rprop、RMSprop、Adam、AdamW、AdaGrad、AdaDelta 等等
• 但是，好在最常用的就是 Adam 或者 AdamW

五、一些常用的损失函数

• 两个数值的差距，Min Square Error： ℓ M S E = 1