[ML]《ML导论》十一：优化方法

20181016 qzd

---

一、思维导图

二、知识碎片

1、共轭梯度下降法

1）简介
在数值线性代数中，共轭梯度法是一种求解对称正定线性方程组Ax=b的迭代方法。事实上，求解Ax=b等价于求解：，将其展开后可以得到： ,也就是等价于求解。于是解方程问题就转化为了求解二次规划问题(QP)。共轭梯度法是介于梯度下降法与牛顿法之间的一个方法，是一个一阶方法。它克服了梯度下降法收敛慢的缺点，又避免了存储和计算牛顿法所需要的二阶导数信息。在n维的优化问题中，共轭梯度法最多n次迭代就能找到最优解（是找到，不是接近），但是只针对二次规划问题。

共轭梯度法的思想就是找到n个两两共轭的共轭方向，每次沿着一个方向优化得到该方向上的极小值，后面再沿其它方向求极小值的时候，不会影响前面已经得到的沿哪些方向上的极小值，所以理论上对n个方向都求出极小值就得到了n维问题的极小值。

2）算法流程