机器学习之局部最优和全局最优

(1)局部最优，就是在函数值空间的一个有限区域内寻找最小值;而全局最优，是在函数值空间整个区域寻找最小值问题。
(2)函数局部最小点是它的函数值小于或等于附近点的点，但是有可能大于较远距离的点。
(3)全局最小点是那种它的函数值小于或等于所有的可行点。

面试：你能解释一下梯度下降法及其在寻找全局最优解时的局限性吗？

• 梯度下降法通过迭代沿着目标函数的负梯度方向更新参数，以寻找最小值。
• 局限性：它可能会陷入局部最优，特别是在非凸函数中。此外，如果学习率设置不当，可能会导致收敛速度慢或者无法收敛。