深度学习常用网络架构

深度学习常用网络架构

AlexNet 2012

	基本结构:5conv+3fc
	227*227*3——1000*1
	创新:1.RELU激活函数
	     2.dropout层的应用
	     3.重叠的max池化
	     4.LRN层
	  用于图像分类,ILSVRC2012图像分类竟赛第一名,
	  论文:2012《ImageNet Classification with Deep Convolutional Neural Networks》
	  由LeNet所提出的1/多个卷积层后面跟着池化层,这种结构现如今仍然在被频繁使用

VGG 2014(显示了网络深度加深的优异性能)

VGG16:13conv+3fc
VGG19:16conv+3fc	  
VGG网络出现的主要贡献为加深了网络的深度,层数的增加,增加了网络的非线性,
从而能让网络来学习更复杂的模型,并且小卷积核的参数更少。
VGG的结构简单,且网络的结构相对一致,图像缩小的比例和通道数量增加的比例是
有规律的,VGG网络所存在的最大问题是网络的参数太多。

GoogLeNet (Inception)2014(主要作用为加深网络的深度与宽度)

获得高质量模型的最保险的做法是加深网络的深度或者宽度
但是伴随着网络加宽与加深之后会出现如下问题:
1.模型过拟合,当训练数据有限时,这一问题更加明显
2.模型的参数过多,计算复杂度大,难以应用
3.网络加深,在后面层容易出现梯度消失的问题,模型难以进行优化
解决方法是将所有的连接转化成稀疏连接
1*1卷积构建瓶颈层,对数据进行降维,从而大大降低数据的计算成本
Inception模块的创新点在于:不需要人为决定使用哪些滤波器, 让网络自己决定使用哪些滤波器且这些滤波器之间是如何组合的。

ResNet 2015

1.残差结构用于搭建超深网络
2.使用BN层加速训练

你可能感兴趣的:(深度学习,pytorch,神经网络)