pytorch hardswish激活函数

Hardswish激活函数,在MobileNetV3架构中被提出,相较于swish函数,具有数值稳定性好,计算速度快等优点,具体原理请参考: https://arxiv.org/pdf/1905.02244.pdf

pytorch hardswish激活函数_第1张图片

你可能感兴趣的:(pytorch)