机器学习极简入门笔记-1-基本概念和梯度下降法

目录

梯度下降法

凸函数

梯度下降法具体思路

梯度下降法的超参数

梯度下降法的难点

---

来自本书作者李烨的话

“

记录

“准备一个笔记本，纸质版或电子版均可，将发现、感想、疑问、经验等全都记下来。

如果是对某个话题、题目有比较完整的想法，最好能够及时整理成文，至少记录下要点。

隔一段时间把笔记整理一下，把分散的点整理成块，一点点填充自己的“思维地图”。

分享

知识技能这种东西，学了就得“炫耀”，把学习到的新知识、理论、方法，分享给更多的人。如此一来，就能督促自己整理体系、记忆要点。这可以说是“与人方便，与己方便”的最佳实例。

把自己的感想、体会、经验分享出来的同时，也锻炼了自己的逻辑思维能力和归纳总结能力。一举多得，何乐而不为?

前几章的基本概念不过多介绍，用一幅思维导图足以概括 

• 梯度下降法

• 凸函数

  此处说的凸函数对应英语中的convex function。在有些数学教材中(例如同济大学数学系编写的《高等数学》教材)把这种函数称为凹函数，而把concave function称为凸函数，与我们的定义正好相反。

  另外，也有些教材会把凸定义为上凸，凹定义为下凸。如果遇到，一定要搞清楚“凸函数”这个词指的是什么。 

 

• 梯度下降法具体思路

(1)随机取自变量x

(2)计算对应该自变量的目标函数的因变量的值f(x0)

(3)计算目标函数f(x)在f(x0)点处的梯度。直观而言，梯度就是f(x)函数曲线在f(x0)点处的切线的斜率

(4)从f(x0)开始，沿着该处目标函数梯度下降的方向，按指定的步长a，走到位置对应的自变量的取值为x1

(5)继续重复步骤(2)步骤至(4)，直至退出迭代(达到指定迭代次数，或f(x)近似收敛到最优解)。

• 梯度下降法的超参数

步长是算法自己学习不出来的，它必须由外界指定。

像这样，算法不能自己学习，需要人为设定的参数就叫作超参数。

步长参数a是梯度下降算法中非常重要的超参数。如果步长的大小设置得不合适，很可能导致最终无法找到最小值点。步幅太大，几个迭代后反而取值可能越来越大；不过大步伐也不是没有优点，步伐越大,每一次前进得越多。步伐太小，虽然不容易“跨过”极值点，但需要的迭代次数也多，需要的运算时间也就越多。

为了平衡大小步伐的优缺点，也可以在一开始的时候先大步走，当所到达点的梯度逐渐减小时(函数梯度下降的趋势越来越缓和)，逐步调整，缩小步伐。

• 梯度下降法的难点

如果目标函数有多个极小值点，开始的位置不妥就可能导致走到一个局部极小值点后无法继续前进