机器学习中的优化算法 第一课

机器学习中的优化算法 第一课


如果一个人的论文中的formulation不严谨,那么他的理论部分基本可以不看。


优化问题的一般formulation:,一般都是凸函数,如果要放开的话,那么有的时候是非凸的,比如在稀疏恢复的时候一些例子。


优化关心的两个问题:

1.收敛性(注意一定要收敛到满足一阶条件的点,不然是不合要求的收敛性证明)

2.收敛率


ML问题三要素:表达+评估+优化:


近年来的优化的应用领域:



No free lunch理论:A,B两种优化方法,对一个包含全部函数的空间里,perform on average equally well

你可能感兴趣的:(机器学习中的优化算法 第一课)