吴恩达深度学习笔记

深度学习视频总结

2.02（红色为小标题，蓝色比较重要）
第四讲第二周

(4.2.1)为什么要进行实例探究

(4.2.2)经典网络

LeNet-5网络当时还没有padding,所以图片在卷积过程当中越来越小；也没有ReLu函数，当时这个例子用的是sigmoid函数。超级参数不是很多。

这个典型的网络有padding，使用的是ReLU函数。超级参数也比较多。

卷积核大小确定为3*3，池化层的超级参数也确定了，步幅也确定了。16指的就是在这个网络中包含16个卷积层和全连接层。一共包含1.38亿个参数。
这是一个非常大的网络，但是它的结构并不复杂，这一点非常吸引人。而且这种网络结构很规整。都是几个卷积层后面跟着一个池化层。池化层缩小图像的高度和宽度。同时，卷积层的过滤器数量变化存在一定的规律。这里是64，然后翻倍成128再到256到512。作者可能认为512已经足够大了，所以到最后就不再翻倍，无论如何都是比较大的一个网络，或者说在每一组卷积层进行过滤器翻倍操作。这种相对一致的网络结构，对研究者很有吸引力。
而他的主要缺点是需要训练的特征数量非常巨大。有些文章还介绍了VGG-19网络。他甚至比VGG-16还要大。由于VGG-16的表现几乎和VGG-19不分高下。所以很多人还是会使用VGG-16，我最喜欢它的特点是文中揭示了随着网络的加深。图像的高度和宽度都在以一定的规律不断缩小。每次池化后刚好缩小一半儿，信道数量在不断减小。