台大李宏毅老师——深度学习 课程笔记 一 （Summary Regression Basic Concept)

概述

机器学习不只是有分类和回归任务，还有GAN。也就是自动生成结构性的复杂数据，比如句子或者图片。现在再回看李宏毅老师的深度学习，可以说自己对于它的理解也更进一步了。GAN更像是去学习人类创造一些东西。比如用GAN生成句子或者画一个动画人物，都是可以的。

Supervised Learning

有label的资料进行学习，通过loss函数，接着找到loss最低的function。

Reinforcement Learning

监督学习是告诉机器，每一步的对与错。但是强化学习是让机器自己去下棋，最后只告诉它对了或者错了。但是机器可以自己下很多盘棋，最后通过奖惩机制，就会找到最优策略。Alpha Go是先监督学习，然后学习了一定程度，让它再和自己下。有点像把基础学习了，后面就是左右手互搏。
Alpha Zero是完全的Reinforcement learning。

Unsupervised Learning

如果没有给机器label，机器可以学习到什么呢？GAN和Auto-Encoder。

前沿研究

Meta learning

Meta learning 是让机器自己尝试新的学习方法，创造新的学习方法。

看图可以看出，红色星星是人类玩家，只需要2小时就可以达到4000多分，机器需要924小时，才能达到。

Life-long learning

Life-long learning 终身学习

Regression

Regression Application

Example Aplication

要通过梯度下降来做，因为我们无法在全域找到最低点，那样的计算量是无法计算的。


李宏毅老师的讲稿真是宝藏。




由于这里的loss是convex的，所以没有local optimal点，也就是说不论从哪里走，最终找到的w和b都是同一组参数。
是否意味着有最低点 global optimal？（这里我不确定）








过拟合了

Basic Concept

两种error的来源，bias & variance





这个图在上5328的时候，刘老师也讲过。




模型越简单，variance越小，越集中，bias越高。模型越复杂，variance越大，bias相对低。




这里解释了为什么模型越复杂，越会过拟合。