pytorch 正确的测试时间的代码 torch.cuda.synchronize()

1、

start = time.time()
result = model(input)
end = time.time()

2、

torch.cuda.synchronize()
start = time.time()
result = model(input)
torch.cuda.synchronize()
end = time.time()

一共上述两种测试时间的方式，正确的方式是第二种，为什么是这样呢？在pytorch里面，程序的执行都是异步的。如果采用第一种方式，测试的时间会很短，因为执行完end=time.time()程序就退出了，后台的cu也因为python的退出退出了，如果采用第二种方式，代码会同步cu的操作，等待gpu上的操作都完成了再继续成形end = time.time()
如果将第一段代码改为
3、

start = time.time()
result = model(input)
print(result)
end = time.time()

这时候会发祥第三段代码和第二段代码的时间是类似的，因为第三段代码会等待gpu上的结果执行完传给print函数，所以真个的时间就和第二段同步的操作的时间基本上是一致的了，将print(result)换成result.cpu()结果是一致的惹。