李宏毅机器学习——卷积神经网络

Lecture 6 convolutional neural network（卷积神经网络）

Image identification

输入比如100*100的图像，三层，每层上数字代表深度，按100*100*3输入，如果输出维度是1000，那么如果全部考虑需要3*10^7，如何简化？

1. convolution：原理：只根据图片的一小部分就能识别，比如鸟嘴，那么：选一个小区域（receptive field）只关注一个小范围有什么，receptive field可以有大有小，可以重叠，但是通常typical setting：{all channel、kernel size较小，=3、一个field对应一组神经元，移动距离stride，}

 

 

问题：比如鸟嘴在不同位置，那么每一个field都有对应甄别鸟嘴的神经元，那么可以共享→2

2.  parameter sharing：神经元里weight都是一样的，但是输入不同

 常见的共享方法：

 

总结：receptive field + parameter sharing=CNN

fully connected 可能会有overfitting问题，弹性高， Receptive field会使弹性变小，加入parameter sharing会更小，bias变大，但是CNN对于特定的问题（图像识别）很好

第二个方式解释 CNN

从filter的角度，假设filter里面参数已知（实际上需要梯度下降找到）把filter分别对应到图像里，一步一步移动

 

Multiple convolution layers

第一次过滤后得到新的“image”，如果64个filter就有64层，可以进行多次convolution

 

 

 Net work 够深，就可以甄别足够大的范围（上图）

 

3.  Pooling-把图片变小，去边（里面没有参数，没有要learn的东西）

Filter里面得到的数组2*2一组，选取最大的做代表（max pooling）

 

 应用：下围棋AlphaGo