SGD和Adam优化算法区别

深度学习二分类问题,选择使用已经训练好的resnet。

SGD和Adam优化算法区别_第1张图片
在用Adam微调模型时,发现性能很差。
SGD和Adam优化算法区别_第2张图片
在用SGD(随机梯度下降)时,效果很好。

原因在于是二分类问题,数据的分布好计算,更适合SGD,而对于Adam更适合计算复杂分布的数据

你可能感兴趣的:(python学习笔记,pytorch,深度学习)