李宏毅机器学习课程1~~~Introduction &Regression

---

机器学习介绍

---

机器学习就是要找一个函数。

机器学习的三大要素框架：训练集，函数集（模型集），损失函数集。

机器学习图谱

AI训练师的成长之路。

---

1. 梯度下降法的理解Gradient Descent

---

参数变化的方向就是损失函数减少的方向。

图中小人向左走，还是向右走，主要是看哪个方向是损失函数减少的方向，学习率就是这个小人走的速度。

理论上，全局最有解是最好的结果，但是实际上，我们有时候可能仅仅找到了局部最有解。所以说梯度下降法找到好的结果，有时候会靠运气，比如一个比较好的初始点。

对于多参数，情况类似。

参数在梯度为零的情况不在更新，但梯度为零或者梯度比较小的情况，并不都是局部极值，还有可能是鞍点。

---

2. 模型选择

---

---

这是一个线性模型，看参数与object的关系，这里的ｂ，ｗ与ｙ都是线性关系。

模型越复杂，我们有可能在训练集上得到较小的误差损失，所以模型越复杂，我们越有可能找到最优的模型函数。

过拟合的问题，简单说就是在训练集上效果较好，但是在测试集上，效果比较差。更深的理解是，理论上我们应该学得是全局特征，在训练集上学习的是局部特征。若拟合局部特征较好，那么就会影响全局特征的学习。如果测试集上的局部特征与训练集的局部特征类似，那么测试集的结果会相对好。若测试集上的局部特征与训练集的局部特征不大类似，那么测试集的结果就会较差。

正则项

为了找到一个平滑的函数(smooth function)。所谓平滑函数，当ｘ有变化时，ｙ不会有剧烈的变化。否则就是个抖动比较厉害的函数。而影响函数的平滑性的是权值，偏置项不会影响函数的平滑性。

加正则项后的效果。

---

参考文献

---

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html