DropPath或drop_path正则化(通俗易懂)

DropPath/drop_path 是一种正则化手段,和Dropout思想类似,其效果是将深度学习模型中的多分支结构的子路径随机”删除“,可以防止过拟合,提升模型表现,而且克服了网络退化问题。
ResNet缺乏正则方法,本文提出了drop-path,对子路径进行随机丢弃,通过实验表示,残差结构对于深度网络来说不是必须的,路径长度才是训练深度网络的需要的基本组件,而不单单是残差块。
DropPath或drop_path正则化(通俗易懂)_第1张图片

DropPath或drop_path正则化(通俗易懂)_第2张图片

·Dropout:将神经元间的连接随机删除。
·Droppath:将深度学习模型中的多分支结构子路径随机”删除。

你可能感兴趣的:(深度学习,深度学习,机器学习,人工智能)