数值优化：经典二阶确定性算法与对偶方法

我们在上一篇博客中主要介绍了单机数值优化中一些经典的一阶确定性算法，本篇文章我们将会介绍二阶确定性算法和对偶方法。牛顿法的基本思想是将目标函数在当前迭代点处进行二阶泰勒展开，然后最小化这个近似目标函数。如果该海森矩阵是正定的，则问题的最优值在特定处取到，牛顿法将其做为下一时刻的状态。