pytorch使用DataParallel时遇到的几个问题

import Model
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = Model(input)
model.to(device)
model = torch.nn.DataParallel(model)
...

1、问题1：
ValueError: only one element tensors can be converted to Python scalars
原因：
（1）
单块卡返回loss是一个tensor，使用loss.item()得到float类型的值；
（2）
DataParallel使用了两块gpu，此时总的loss会自动计算平均值，
但是其他自定义的loss不会自动计算平均值，因此返回的是一个list，如果对list使用item（）函数，是会报错的。
改进：加一个torch.mean（），手动计算其他loss的平均值，然后使用item()取出浮点类型的数值。
值得注意的是，使用dataparalle是数据并行的，也就是说，输入为[batch_size, seq_len]的数据，当加载到两块gpu上是，每块gpu会分别处理[batch_size//2, seq_len]的数据。