CNN经典模型回顾

CNN经典模型回顾

1. AlexNet

AlexNet可以算是第一个“深度”神经网络,主要创新在于网络深度的加深和防止过拟合的dropout以及防止梯度消失/爆炸的激活函数: ReLU.

CNN经典模型回顾_第1张图片

2. VGG

相比于AlexNet,VGG更深了。同时,VGG采用了许多小卷积核,并引入了1×1卷积核,专门用来做特征降维。

CNN经典模型回顾_第2张图片 VGG

3. Inception系列

Inception-v1的主要改进有二:一是将多个尺度的卷积核concatenate起来,形成了一个multi-scale的效果;二是采用了两个较浅层的辅助输出,防止因网络太深而带来的梯度消失问题。

CNN经典模型回顾_第3张图片 Inception-v1

Inception-v2和Inception-v3是在同一篇文章中提出的,最主要的贡献就是提出了Batch Normalization. Batch Normalization可以防止中间层的结果滑向激活函数的饱和区,同时也可以将中间层的数值归一化,进一步防止梯度消失和梯度爆炸问题。

4. ResNet

形如h(x) = x + f(x)的形式(其中f(x)可能是若干层卷积网络),使得h(x)的至少具备h(x) = x的表达能力,从而使得深层网络不会劣于较浅的网络。ResNet极大地提升了网络的深度。

CNN经典模型回顾_第4张图片 ResNet

5. DenseNet

与ResNet类似,DenseNet也是创建卷积层与卷积层之间的跳跃式连接,不同点主要有两点:一是DenseNet采用concatenate的方法而不是加法的方式集成来自不同卷积层的特征;二是DenseNet会在所有层两两之间构建直连,这也是DenseNet名字中”Dense”的含义。

CNN经典模型回顾_第5张图片 DenseNet

你可能感兴趣的:(CNN,Machine,Learning,Computer,Vision)