机器学习速成课程 学习笔记7: 降低损失

https://developers.google.cn/machine-learning/crash-course/reducing-loss/an-iterative-approach

• 迭代方法
• 梯度下降法
• 学习速率
• 随机梯度下降法

“金发姑娘原则”源自童话《金发姑娘和三只熊》的故事：
迷路了的金发姑娘未经允许就进入了熊的房子，她尝了三只碗里的粥，试了三把椅子，又在三张床上躺了躺，最后决定小碗里的粥最可口，小椅子坐着最舒服，小床上躺着最惬意，因为那是最适合她的，不大不小刚刚好。

金发姑娘选择事物的原则被称作：金发姑娘原则(Goldilocks principle)。

注意：在实践中，成功的模型训练并不意味着要找到“完美”（或接近完美）的学习速率。我们的目标是找到一个足够高的学习速率，该速率要能够使梯度下降过程高效收敛，但又不会高到使该过程永远无法收敛。