【计算机视觉】理清深度学习优化函数发展脉络

问题

深度学习中有很多优化函数,常见的那些你还记得它的定义以及优缺点吗?

背景知识

深度学习网络训练中,有很多可供选择的优化函数如SGD、Adam等等,到底用哪个好呢?其实这个问题没有确切的答案,优化函数是需要配合损失函数使用的,说白了,优化函数也是一种超参数,是需要尝试的,哪个效果好就用哪个……

这些优化函数其实差别不大,都是基于一个基本框架来演进的,所以下面先介绍下优化算法的基本框架:

1、优化算法基本框架

(记住这个框架!!!)

假设当前时刻待优化的参数为 θ t \theta_t θ

你可能感兴趣的:(深度学习,计算机视觉,机器学习,深度学习,计算机视觉)