pytorch 半精度，提升pytorch推理性能

原生的torch是float32的，我们可以借鉴模型量化的思想将其变成float16，而且pytorch自身就定义了半精度的tensor

假设我训练的一个模型为model，我们在运算的时候直接将模型转成半精度的模型，怎么做的呢？直接使用model.half()就行

model.half()
model.cuda()

float32的tensor的变量 img，为了使用半精度的模型，同样需要将其输入转成HalfTensor

img=img.type(torch.HalfTensor).cuda()
现在就可以正常使用半精度的模型了：

out = model(img)

注意：img无论在cpu或者gpu上，

img.type(torch.HalfTensor).cuda()

转换类型后，都在cpu上，需要再转到gpu上。

float16转float32：

img.type(torch.FloatTensor).cuda()

我们可以对比一下效果，这里我自己拿了一个模型计算了一下：

完整版模型推理时间：0.03268694877624512秒
半精度模型推理时间：0.018633127212524414秒

原文链接：https://blog.csdn.net/zhou_438/article/details/115971686