深度学习中的网络结构

深度学习中的网络结构

1、网络模型的的发展历史
先简单说一下CNN一些经典案例和 ImageNet 图像分类竞赛的历年冠军（深度学习网络发展史）：

神经网络	年份	标签	作者
LeNets	1998年	CNN开山之作	纽约大学
AlexNet	2012年	ImageNet冠军	多伦多大学　Hinton团队
ZFNet	2013年	ImageNet冠军	纽约大学
GoogLeNet	2014年	ImageNet冠军　Inception模块	谷歌
VGG	2014年	ImageNet亚军　VGG-16和VGG-19	牛津大学
NiN	2014年	Network in Network（网中网）　GAP（全局平均池化）	新加坡国立大学
ResNet	2015年	ImageNet冠军　残差网络	何凯明团队　微软亚院
Wide ResNet	2016年	增加残差中卷积核数量（宽度）	谢尔盖·扎戈鲁科
Squeeze Net	2016年	轻量级网络　压缩参数量	斯坦福大学　伯克利大学
SENet	2017年	ImageNet冠军　SE模块	momenta + 牛津大学　胡杰
ResNext	2017年	Resnet + Inception	Saining Xie团队
DenseNet	2017年	CVPR最佳论文　Dense模块	康奈尔大学　清华大学
FractalNet	2017年	分形网络	Gustav Larsson团队
MobileNets	2017年	轻量级　Group卷积和Depthwise Seperable卷积	谷歌
NASNet	2018年	神经架构搜索　强化学习	谷歌

2、Alexnet
原文：《ImageNet Classification with Deep Convolutional Neural Networks》
网络结构图：

3、VGG
原文：《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》
网络结构：

4、ResNet
原文：《Deep Residual Learning for Image Recognition》
网络结构：

上图中一个方括号对应一个block，block结构：

参考：
https://blog.csdn.net/qiuzitao/article/details/108399286
https://zhuanlan.zhihu.com/p/41423739
https://blog.csdn.net/wchzh2015/article/details/93883771