伯禹公益AI《动手学深度学习PyTorch版》Task 05 学习笔记

伯禹公益AI《动手学深度学习PyTorch版》Task 05 学习笔记

Task 05：卷积神经网络基础；LeNet；卷积神经网络进阶

微信昵称：WarmIce

昨天打了一天的《大革命》，真挺好玩的。不过讲道理，里面有的剧情有点为了“动作”而“动作”，颇没意思。但是Ubi的故事还是讲得一如既往得好。

言归正传，这3节课，前两节没什么意思，充其量复习了计算卷积层输出的特征图大小的公式：

$ \mathbf{floor}((in_size + padding - kernel_size)/stride) + 1 $

大概就这么点有用信息了。

后面两节进阶课（整合到一个主题下了）还是可以的。有效梳理了卷积网络发展历史上最有名的4个结构：AlexNet、VGG、NiN与GoogLeNet。直到今天，你仍旧能够感受到AlexNet和VGG在特征提取中发挥出来的光和热。

AlexNet无需多言，后面的全连接层参数量过大，但是还是很有效。

VGG将AlexNet进行了一定的改进，将网络模块化。多个 3×3kerne size与padding=1的卷积配合2×2kernel size与stride=2的池化，构成 一个VGG Block。堆叠多个后，使用全连接层得到分类输出。

NiN之前有看过文章，当时其实很不理解它文章中所谓的卷积之后的全连接，而且它原文给的图片很迷惑。现在才明白，是在做通道维度上的全连接。一个大卷积配合两个1×1的卷积（增加非线性），构成一个NiN模块。实际上，每个NiN后头还要一个3×3max pooling stride=2来进行尺度的缩小。

GoogLeNet以Inception模块为基础，所谓Inception就是多个尺度的感知模块，不再多表。

以上。