ReLU6

        ReLU6就是普通的ReLU但是限制最大输出值为6(对输出值做clip)

        在Mobile v1里面使用的

        这是为了在移动端设备float16的低精度的时候,也能有很好的数值分辨率,如果对ReLU的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大,分布在一个很大的范围内,则低精度的float16无法很好地精确描述如此大范围的数值,带来精度损失。

ReLU6_第1张图片

 

torch.nn.ReLU6(inplace=False)

你可能感兴趣的:(神经网络,人工智能,深度学习)