深度学习中反向传播的一些理解

  深度学习的一些入门知识

  问题：反向传播是干什么的？

  所有的网络都是在误差中学习，根据误差来更新网络权重/参数以反映基于给定代价函数的误差。这就是反向传播。

  梯度 表示的则是网络权值与误差之间关系的斜率。

  所以，反向传播应该是具有以下三个步骤:

  (1)计算误差

  (2)反向传播

  (3)更新网络

  (4)自动微分

  梯度消失： 梯度太小，使得在学习过程中变得缓慢，或者更新完全停止。如sigmoid激活函数，导数总是小于0.25，网络无法正常更新。

   正则化：在网络参数中增加一些限制，来防止过拟合。典型的包括：L1,L2正则化，会阻止网络的权重或系数变得太大。

   Dropout：通过阻止特征检测器的共同作用来提高神经网络的性能，在前向传播的时候，让某个神经元的激活值以一定的概率p

停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。

                     

   一般来说，网络的结构是这样的： 【INPUT -> CONV ->POOL ->FC】的架构