李宏毅深度学习——第一天

Course introduction

RNN——>输入是一个句子，输出是pos or neg

CNN——>输入是图片，输出是从n个选项里选择一个正确的

Seq2seq：翻译（产生文句）（generation）

GAN：画二次元人物头像（generation）

Unsupervised Learning

Network Architecture——>给机器一个搜寻的范围，告诉机器只要在这个范围内找就可以了（RNN+CNN） 

Explainable AI——>解释，为什么认为图片里是一只猫

Adversarial Attack——>人类怀着恶意攻击影相辨识系统，会发生什么事情

Network Compression——>硕大的network，放在更小的平台上

Anomaly Detection——>机器如何知道它不知道，动物影像辨识系统放了一个植物进来有什么变化

Transfer Learning——>训练集测试集分布不一样怎么办？

Meta Learning——> 学习如何学习的能力

Life-long Learning——>终身学习

Reinforcement Learning——强化学习

监督学习——已知围棋的下一步将会走到哪里

强化学习——不需要告诉机器每一步应该落子的位置，让机器自己想办法找出策略，赢得比赛

alpha go——>先是通过监督

Rule of ML

Regression Case Study

Loss function——input是function（在线性模型中就是w和b）

                     ——output是how bad it is

模型太复杂，出现过拟合

不同物种模型不同

为什么我们期待一个参数值接近0的function？

参数值接近0的function是比较平滑的，对delta（xi）的变化（noise）不敏感

在做regularization的时候是不用考虑bias这一项的，因为调整bias这一项和function是否平滑是无关的

lambda越大，越考虑function中w本来的数值，减少考虑error，traindata上的error就越大

lambda越大，function越平滑 

太平滑的function，是一条水平线，所以太平滑也不好