面试题目总结（CNN）

1. CNN权值共享是什么
   局部感知：即网络部分连通，每个神经元只与上一层的部分神经元相连，只感知局部，而不是整幅图像。（滑窗实现）

（可行性）局部像素关系紧密，较远像素相关性弱。因此只需要局部感知，在更高层将局部的信息综合起来就得到了全局的信息。

权值共享：从一个局部区域学习到的信息，应用到图像的其它地方去。即用一个相同的卷积核去卷积整幅图像，不同的特征靠多个不同的卷积核实现。

（可行性）图像的局部统计特征在整幅图像上具有重复性（即位置无关性）。
参考：https://www.cnblogs.com/chenshan-crystal/p/7543780.html

2. 正则化：
   L1范数——Lasso回归；
   L2范数——岭回归.
   L1正则化产生稀疏的权值, L2正则化产生平滑的权值
   原因：https://www.cnblogs.com/tianqizhi/p/9703796.html

3. 1*1卷积核作用
   （1）降维
   （2）保证feature map不变的情况下增加非线性
   参考：https://www.jianshu.com/p/04c2a9ccaa75

4. pooling层作用
   （1）整合特征，减少计算复杂度
   （2）对不同位置的特征进行聚合统计
   （3）卷积窗口有重叠，因此得到的结果有大量冗余，用pooling可以消除冗余（pooling会导致微小的局部变形），权重共享可以带来平移不变性。
   参考：
   https://blog.csdn.net/kele_imon/article/details/79532286

池化层：对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征

5. 卷积层作用
   （1）相当于一个特征提取器来提取特征
   （2）提供了位置信息
   （3）减少了参数个数

6. pooling层的反向传播
   参考：https://blog.csdn.net/qq_21190081/article/details/72871704（看图即可）

7. relu函数优点：
   （1）防止梯度弥散（导数为1）
   （2）稀疏激活性（负半轴导数为0，不会更新梯度）
   （3）加快计算（导数好计算）
   参考：https://blog.csdn.net/qq_21190081/article/details/64127103

缺点：
训练的时候容易die，如果遇到大的梯度流，w变成负的，输出变成负的，梯度为0，之后不再激活（是由于学习率太大引起的）
用leaky_relu改进
参考：
https://www.cnblogs.com/Time-LCJ/p/9235711.html

常用激活函数
sigmoid, tanh, relu
参考：https://blog.csdn.net/u011684265/article/details/78039280