pytorch 速度问题测试

今天我发现一个很奇怪的问题，就是我当样本量从200000增加到40万的时候，训练代码没有改动，但是pytorch的速度却突然增加了4倍不止，后面我发现这个速度的问题在于dataloader的创建方式上

如果采用

 myloader = DataLoader(dataset=myset, batch_size=batch_size, shuffle=True)

这个速度就会慢

但是如果采用

myloader = DataLoader(dataset=myset, batch_size=batch_size, shuffle=True,num_workers=4, pin_memory=True)

这个速度就会快2倍差不多，这个就和tensorflow里面的速度差不多了，这个值得注意，有时间可以单独测试一下，这里先记录一下

而且我发现，对于大数据集，尽量不要使用jupyter来跑结果，这个很有可能会出问题，应该直接使用.py来运行，这样不容易出问题的