dropout与bagging

drop相当于集成了很多个神经网络的bagging方法.

  • bagging是指用相同的数据训练多个独立的模型,最终的结果采用多个模型的投票或者平均的方法得到.
  • 而dropout随即丢弃一些神经元来改变网络结构, 从而实现训练不同神经网络的目的. 在测试阶段使用全部的神经元,相当于使用多个神经网络进行投票融合.
  • 虽然dropout训练的各个神经网络参数共享并不相互独立,但是也可以看作近似的Bagging方法.

你可能感兴趣的:(小哲AI)