深度学习的自动混合精度探究

先上个图片来阐述下自动混合精度训练的优势：

何为混合精度训练

1、参考文献：百度关于混合精度训练相关论文

链接: https://pan.baidu.com/s/1aPLqc640XB59gIyxlnkofg 
提取码: f86k

2、关于FP32和FP16,混合精度训练基本原理说明

• 2.1、混合精度训练主要是指在FP32&FP16两种精度间进行混合精度训练；
• 2.2、介绍FP32
  
  单位：bit
  指数位：8bits
  精度位：23bits
  表示范围：全精度数的范围大约是1.4×10^-45~1.7×1038
  内存开销：相对较大
• 2.3、介绍FP16
  
  单位：bit
  指数位：5bits
  精度位：10bits
  表示范围：半精度数的范围大约是5.96×10^-8~6.55×104
  内存开销：相对较小

3、如何进行混合精度训练

简单的讲就是使用fp16进行乘法和存储，只使用fp32进行加法操作，避免累加误差；
训练更快，内存使用相对FP32更高效，但那是计算精度会相对FP32有所降低;

4、支持设备

5、关于特斯拉T4等设备区别，请参考以下链接：

https://blog.csdn.net/yunweifun/article/details/105312616