计算机视觉面试

激活函数：将神经元的净输入信号转换成单一的输出信号，以便进一步在网络中传播

梯度爆炸或者消失！！！
1，神经网络损失函数非凸的损失函数，逐步的减小步长，或者叫动态调整学习率
2，梯度爆炸的解决，使用梯度截断法，Gradient Clipping
3，L1、L2正则化，使得W变小，进一步反向传播的时候使得gradient变小
4，Batch Normalization，一种归一化的手段，主要作用或者发挥在Activations上面
5，激活函数也会影响，使用Relu优于tanh和sigmoid
6，W的初始化，如果一开始的W绝对值就比较大，更容易梯度爆炸或消失
7，网络Topology设计可以在一定程度上解决梯度消失或者爆炸






tips:暂时认为每个epoch都有自己的bn,BN的优点自然也就是允许网络使用较大的学习速率进行训练，加快网络的训练速度（减少epoch次数），提升效果。