AI全栈大模型工程师(二十三)用 PyTorch 训练一个最简单的神经网络

文章目录

    • 四、求解器
    • 五、一些常用的损失函数
    • 六、用 PyTorch 训练一个最简单的神经网络
    • 后记

四、求解器

为了让训练过程更好的收敛,人们设计了很多更复杂的求解器

  • 比如:SGD、L-BFGS、Rprop、RMSprop、Adam、AdamW、AdaGrad、AdaDelta 等等
  • 但是,好在最常用的就是 Adam 或者 AdamW

五、一些常用的损失函数

  • 两个数值的差距,Min Square Error: ℓ M S E = 1

你可能感兴趣的:(#,大模型课程,程序人生)