（机器学习盘点）理解梯度下降法

reference

• SIGAI 整理： 理解梯度下降法
  https://mp.weixin.qq.com/s?__biz=MzU4MjQ3MDkwNA==&mid=100004315&idx=1&sn=42c3022698be4944a960476f38f2c4ae&chksm=7db68c4c4ac1055ae386cb03fdc09a72980665cbe7563d1ba9ebb2533da6af841ce67fbb1c12&mpshare=1&scene=1&srcid=#rd

• 深度学习优化算法总结
  https://mp.weixin.qq.com/s/GITr7-54FEtNe4anNCDPpQ

梯度下降

最优化问题

• 最优化问题是什么？
  以优化问题的全局最小值为例，最大值同理：
  最优化问题指的是，对于全局最小值 $x^{\ast }$ 在可行域里所有的x，有 $ f(x^*)<=f(x) $。

导数和梯度

• 如何判断极大值还是极小值？

二阶函数/海森矩阵
如果海森矩阵正定，函数有极小值
如果海森矩阵负定，函数有极大值
如果海森矩阵不定，则需要进一步讨论

一元函数的极值判定法，假设在某点导数等于0，则：
如果二阶导数大于0，函数有极小值
如果二阶导数小于0，函数有极大值
如果二阶导数等于0，情况不定

推导过程

• 能否手动推导出梯度下降的公式？

梯度下降法的变形

推荐：
https://mp.weixin.qq.com/s/GITr7-54FEtNe4anNCDPpQ