2021-2022 机器学习结语（李宏毅

输入：matrix。   CNN

输入：sequence，声音、文字。   self-attention

transformer  的input跟output的长度可以是不一样的，

 进阶主题：

让机器学会创造：generative model

利用没有标注的资料、现在最热门的self supervised learning

训练和测试资料不匹配、domain adaptation

 machine learning各式各样的应用：

• 跟COVID-19有关的趋势预测
• 影像处理，分类、攻击、adaptation、压缩、解释、画图
• NLP，翻译、问答
• 语音，语音辨识、语者辨识
• 用RL技术 让机器玩游戏

 what to learn NEXT？

其实你可以开始尝试找一个应用来自己解决。你正在研究的问题，想想看作业里有没有什么概念派的上用场。

找顶尖国际会议的论文来看

 想更深入研究机器学习的各个主题：http://ai.ntu.edu.tw/mlss2021，最前瞻的主题进展状况。

the general program is free for student.

 这学期的课程内容，跟过去的课程内容比较一下的话，会发现还是有蛮大不同的。

 如果有一个人告诉你train deep network不用通灵，都知道超参数、learning rate、network应该多深，你要怀疑他到底有没有实际train过model的经验，training的结果千奇百怪 往往无法预测。

不知道超参数怎么调是深度学习本质的问题

 作业有一些提示，完成每一个提示大概会得到什么样的结果。

 

 笑死