CNN初探（三）------Going Deeper with Convolutions

Hebbian principle（赫布理论）

Cells that fire together, wire together

描述突触可塑性的原理， 即突触前神经元向突触后神经元的持续重复的刺激可以导致突触传递效能的增加。

简述信息

• GoogLeNet相较于2012年Krizhevsky提出的网络结构，减少到了1/12的参数，并且更加精确。
• 对于大多数实验，模型被设计为在推断时间保持1.5billion次加乘运算。（嵌入式计算能力的加强，现实使用的可能性）
• Deep neural network的deep有两方面意义：1.介绍了一种新水平的组织结构“Inception module”；2.不断增加的网络深度。
• 使用1*1的卷积层有两方面的考虑：1、主要被作为降维模块来减少计算瓶颈，使得增大网络结构成为可能；2、使得不但增加了深度，同时增加了网络的宽度，而又没有显著增加计算的负担。
• 直接扩大网络结构（深度和宽度）会有两方面的影响：1、简单扩大的网络会更倾向过拟合，同时在标签数据有限的情况下；2、增大计算负担。增加一层，平方级地增加。解决这两个问题的基本方法是将全连接层替换为一个稀疏的版本？（数学证明S. Arora, A. Bhaskara, R. Ge, and T. Ma. Provable bounds for learning some deep representations. CoRR, abs/1310.6343, 2013.）

Inception module

结构信息

• 22层网络结构

• 结构具体信息

训练方法

• Asynchronous stochastic gradient descent with 0.9 momentum
• fixed learning rate schedule (decreasing the learn- ing rate by 4% every 8 epochs)
• Polyak averaging was used to create the final model used at inference time

---

本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。