CNN激活函数与选择经验，CNN层级结构与典型CNN

1. 激活函数

2.激励层选择函数的经验：

(1) 尽量不要使用Sigmoid；

(2) 首先试用ReLU，原因是快，但需要小心；

(3) 如果(2)失效，使用Leaky ReLU或Maxout；

(4) 某些情况下，tanh到有不错的结果，但是这种情况比较的少。

3. 卷积神经网络的层级结构：

• 数据输入层  Input Layer
• 卷积计算层  CONV Layer
• ReLU激励层  ReLU Layer
• 池化层  Pooling Layer
• 全连接层  FC Layer

卷积神经网络处理图像各层的效果如下：

4. 典型CNN

LeNet    最早用于数字识别的CNN

AlexNet       2012 ILSVRC比赛远超第2名的CNN，比LeNet更深，用多层小卷积层叠加替换单大卷积层

ZFNet    2013 ILSVRC比赛冠军

GoogLeNet  2014 ILSVRC比赛

VGGNet     2014 ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问题(比如object detection)上效果奇好