机器视觉-常见CNN及介绍

CNN结构的深化

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一

AlexNet

• ImageNet-2012竞赛第一
• 标志着DNN(Deep Neural Networks)深度学习革命的开始
• 5个卷积层+3个全连接层
• 60M个参数+650K个神经元
• 2个分组->2块GPU(3GB)
  • 使用两块GTX 580 训练5-6天
• 新技术
  • ReLu非线性激活
  • Max pooling池化
  • Dropout regularization
    
    

LRN

局部响应归一化 LRN(Local Response Normalization)

• 神经元的侧抑制机制
• 某个位置(x,y)上沿通道方向的归一化
  后面相关论文认为其没什么 用

NiN

NiN(Network-inNetwork)

1X1卷积

• 1X1卷积，实现的是 同一个像素点上的各个通道的值的线性组合
• 作用
  • 实现跨通道的交互和信息整合
  • 进行卷积核通道数的降维和升维

VGG

GoogLeNet

小结

• 网络:AlexNet->VGG->GoogLeNet->ResNet
• 深度:8->19->22->152
• VGG结构简洁有效
  • 容易修改，迁移到其他任务中去
  • 高层任务的基础网络
• 性能竞争网络
  • GoogLeNet:Inception V1->v4
    • Split-transform-merge
  • ResNet:ResNet1024->ResNeXt
    • 深度、宽度、基数(cardinality)