「Medical Image Analysis」Note on Deep Supervision Mechanism

Sina Weibo:小锋子Shawn
Tencent E-mail:[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/79619995

1. 深度监督机制(Deep Supervision Mechanism)
    在“shallow vs. deep”这个问题上,人们发现使用深度模型(deep models)更好。但是,由于梯度弥散或爆炸(gradients vanishing or exploding)使得训练深度模型成为一个具有挑战的任务。针对梯度弥散或爆炸问题,有很多工作出现,比如权重初始化方法,网络结构,监督机制,训练方法等等。
「Medical Image Analysis」Note on Deep Supervision Mechanism_第1张图片
图 1  3D深度监督网络(3D DSN)
    深度监督机制,如图1所示,就是底层和中层的特征图输出经过反卷积(Deconv)层,回到与label一样大小的分辨率/空间大小,经过softmax+交叉熵/负对数似然,求得损失;高层的特征图输出自然也求得损失,然后三个损失进行加权求和,并被最小化。其实,这种深度监督机制在GoogLeNet上采用过,如图2所示。再往前就是2D分类网络DSN了。
「Medical Image Analysis」Note on Deep Supervision Mechanism_第2张图片
图 2 GoogLeNet

2. 实验结果
2.1 可加速神经网络收敛,更小化损失
「Medical Image Analysis」Note on Deep Supervision Mechanism_第3张图片
图 3
2.2 可获得更平滑的卷积核,更明显的模式
「Medical Image Analysis」Note on Deep Supervision Mechanism_第4张图片
图 4

你可能感兴趣的:(「Medical Image Analysis」Note on Deep Supervision Mechanism)