机器学习笔记（李宏毅 2021/2022）——第三节：CNN卷积神经网络

相关视频

2021-CNN
选修-Spatial Transformer layer
2022-为什么用了验证集还是overfitting
2022-鱼与熊掌可以兼得的机器学习

一、2021-CNN

1.CNN的设计原理

• Receptive Field + Parameter Sharing = CNN
• CNN的bias要大于FC,也就是说CNN的弹性要更小，但不代表不好，因为弹性大，容易overfitting

CNN的设计基于三个观察

• 第一个观察是我们不需要看整张图片,那对 Neuron 的故事版本,对於第一个故事而言就是,Neuron 只看图片的一小部分,对 Filter 的故事而言就是,我们有一组 Filter,每个 Filter 只看一个小范围,它只侦测小的Pattern。
• 然后我们说同样的 Pattern,可能出现在图片的不同的地方,所以 Neuron 间可以共用参数,对 Filter 的故事而言就是,一个 Filter 要扫过整张图片,这个就是 Convolutional Layer。
• 对像素进行下采样不会改变物体。——pooling layer
  这张图从两个角度来阐述CNN，一个从神经元的角度，一个从filter的角度。

2. Spatial transformer

2.1. CNN 的不变性

• 平移不变性——CNN与生俱来
• 尺度不变性——Data Augmentation获得
• 旋转不变性——Data Augmentation获得

So CNN is not invariant to scaling and rotation.
Spatial transormer 就是为了克服CNN的旋转、缩放不变性的缺点。

2.2.Spatial transformer layer

Spatial transformer layer也是神经网络，只需要6个参数就能完成图片的仿射变换（这里指代旋转、缩放等操作）
一个简单的例子，完成了缩放的任务

另一个简单的例子，完成了旋转的任务

2.3 Interpolation

当参数为小数时，如果采用取整法，则梯度有可能为零，无法利用梯度下降法，这里可以采用插值法来解决，这样就把离散问题变成了连续问题。

二、为什么用了验证集还是overfitting

这节只是简单的答疑

使用验证集来选择模型，可以看作是通过验证集进行训练，你的模型是你已经训练的几种模型。
所以当你训练了足够多的模型，P($D_{val}$ is bad)就会上升，造成overfitting。

三、鱼与熊掌可以兼得的机器学习

这节内容主要介绍了为什么深度学习可以鱼与熊掌兼得，为什么是Deep而不是fat

1.why deep？

因为生成$2^k$个线段需要的神经元数量，Deep远小于Shallow。

• Deep需要2k个神经元
• Shallow需要$2^k$个神经元

为什么Deep少呢？可以从下面这个例子来理解。
这里通过两层network生成输出$a_2$。

• 当x从0走到1时，$a_1$从1走到0再走到1
• 而当$a_1$从0走到1时，$a_2$从1走到0再走到1
• 所以两者合起来，当x从0走到1时，$a_2$走了4个折线

也就是说，通过n层layer，可以产生$2^n$个折线段。