fp16训练(混合精度训练)

深度神经网络(DNN)在许多领域都取得了突破,包括图像处理和理解,语言建模,语言翻译,语音处理,游戏策略以及许多其他领域。 为了获得这些卓越结果,DNN的复杂性一直在增加,这反过来又增加了训练这些网络所需的计算资源。 混合精度训练通过使用低精度算术降低了所需的资源,具有以下好处。

减少所需的内存量。 半精度浮点格式(FP16)使用16位,而单精度(FP32)使用32位。 降低所需的内存可以训练更大的模型或训练时使用更大的batch size。

缩短训练或推理时间。计算的次数或者数据存储的存储十分影响算法的执行时间。半精度使用单精度的一半内存访问,从而降低了在存储层方面所花费的时间。 与单精度相比,NVIDIA GPU的半精度算术吞吐量最多提高了8倍,从而加快了数学受限层的速度。




参考资料:
fp16训练(混合精度训练)
fp16与fp32简介与试验

你可能感兴趣的:(#,Pytorch,人工智能,fp16,半精度浮点数,半精度训练)