CNN网络模型的发展概述

写在开篇

        这个系列主要介绍卷积神经网络模型(CNN)在发展进程中的重要的、有代表性的CNN模型的原理和实现。这第一篇文章简要介绍一下CNN发展进程中的几个关键节点(即经典CNN模型)。

经典CNN网络之VGG网络原理深度解析

经典CNN网络之GoogLeNet系列网络原理深度解析

经典CNN网络之ResNet网络深度解析与代码实现

经典CNN网络之DenseNet模型解析与代码实现

经典CNN网络之SENet网络深入解析

正文

        神经网络(现在大家更喜欢称为深度学习)的发展经历了三起三落(这里我就不展开叙述了，有兴趣的童鞋可以自己搜索相关内容了解)，而CNN神经网络的发展为此做出了巨大贡献，从最基础的LeNet5在到ImageNet竞赛中AlexNet，全球的的学者和研究团队由此开发设计了很多优秀的CNN网络模型，其中比较经典且有影响力的主要有VGG、GoogLeNet、ResNet、DenseNet。对于这几个经典网络，在此系列我会详细论述。

        1994年诞生的手写字体识别模型LeNet5掀起了卷积神经网络的浪潮，后续的各种优秀的CNN网络都是在它的基础上发展而来，由此大家应该可以理解它的重要地位和影响。

        虽然LeNet5为卷积神经网络奠定了基础，但是神经网络真正引起大家的关注是在2012年的ImageNet竞赛中的冠军模型AlexNet，该模型作者Alex Krizhevsky的老师是神经网络领域三巨头之一的Hinton，想必大家应该都听说过吧。AlexNet模型在ImageNet数据集上1000个类别识别拿到了top1：37.5%和top5：17%的error rates，超过了传统的人工设计模型。

        CNN网络模型引起了大家的关注之后，很多学者和研究团队开始想办法提升网络模型的性能，在沉寂了一年之后，在2014年的ImageNet竞赛中，横空出世的两个优秀网络拿到了这次比赛的冠亚军，冠军GoogLeNet，亚军VGG．

        随着网络深度的不断增加，模型在训练过程中出现梯度消失/爆炸和模型退化等问题(此时模型的深度还没超过30层)，CNN模型的优化达到瓶颈。针对此问题，青年一代的大神何凯明设计了ResNet，在2015年的ImageNet竞赛中一举夺魁，使得神经网络的深度能超过百层达到上千层。

        借鉴ResNet跨网络层连接输入输出的思想，DenseNet模型的作者从feature入手，通过密集的跨网络层连接对feature map的极致利用达到更好的效果和更少的参数，当之无愧成为2017年计算机视觉顶会的年度最佳论文。