李宏毅《机器学习2022》笔记

从b站看的啥都会一点的研究生上传的视频，总的来说，讲的还是比较分散，因为每一年的视频穿插起来了，会对新手有一点不友好，但是都是知识，第一遍学不求甚解，先过一遍，做做笔记，留个印象也是好的。
之前看到了30集，没怎么做笔记，从30集开始也不晚。

P32 2022 为什么用了验证机（validation dataset）结果还是过拟合了呢

看完这8分钟，觉得validation set是用来选一个训练模型的，如果模型太多，选出来那个是validation set上表现最好的，但是在test set可能也会过拟合。

P33 鱼和熊掌可以兼得的机器学习

答：深度学习
线性分段函数，用sigmoid函数不断的拟合，加大深度，从而产生任何的piecewise linear。
we want “deep" network,not “fat” network
Yes, one hidden layer can represent any function.
However, using deep structure is more effective.
用剪纸来举例子。叠的层数多，效率高，只需要剪几刀。

P34 spatial transformer

讲了在图像中位置、尺度变换不受影响的Spatial Transformer CNN (ST CNN)

P35 HW3

11种食物的分类，
初始sample 0.5
加入数据增强，4 epoch-> 20 epoch 0.68

P38 2021 第四节，自注意力