基于卷积神经网络的Imagenet识别 + Geffery Hinton

最近开始学习深度学习技术，选择了基于CNN的Imagenet识别作为开始。卷积神经网络我现在的理解是利用图像卷积操作进行end-to-end学习 ，从特征提取到识别任务，一口气做完。卷积操作是线性操作：权重乘上图像卷积区域内的像素值，优化较为容易。

图1. 用于图像识别的CNN结构

神经网络的设置：

1. 输入图片 224*224， 5层卷积用于特征提取，3层fully-connected network, 进行识别

2. 卷积参数学习的结果与方向性的Garbor滤波器类似，该论文的卷积核分上下两部分，要着重注意。

3. 卷积层的学习参数不算多，互联层的参数比较大，我对互联层为什么设计这么大并不理解

4. 学习中用到的技术： normalization, pooling，dropout.  dropout貌似将一个大规模神经网络看成多个随机网络的组合，算法会随机选择关闭一些神经元，让其输出为0，进行训练。训练完成后使用所有神经元，改动之处在于把神经元的输出乘以0.5

参数初始化：卷积权重随机初始化， 神经元activation函数选成ReLU.

论文里没有明确说明Loss函数的设计