droupout(暂退法)原理

暂退法一般只在训练时调用,在测试时调用可以用来测不确定性,在半监督学习里伪标签的测量就是这么做的。

droupout(暂退法)原理_第1张图片

droupout(暂退法)原理_第2张图片

注意!在选择丢弃的h时,是给每个h随机生成了一个0-1间的概率,概率大于p时置1,概率小于p置0,再与h相乘!p是调用dropout方法时自己设定的,默认为0.5.

droupout(暂退法)原理_第3张图片

 来源:《动手学深度学习》pytorch版

你可能感兴趣的:(pytorch,python,深度学习)