dataloader = D.DataLoader(dataset, batch_size=batch_size, shuffle=shuffle,
num_workers=num_workers, pin_memory=True)
关于什么是锁页内存:
pin_memory
就是锁页内存,创建DataLoader
时,设置pin_memory=True
,则意味着生成的Tensor
数据最开始是属于内存中的锁页内存,这样将内存的Tensor转义到GPU的显存就会更快一些。
主机中的内存,有两种存在方式:
一是锁页,二是不锁页,
锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换(注:虚拟内存就是硬盘),而不锁页内存在主机内存不足时,数据会存放在虚拟内存中。
显卡中的显存全部是锁页内存,当计算机的内存充足的时候,可以设置pin_memory=True
。
当系统卡住,或者交换内存使用过多的时候,设置pin_memory=False
。
因为pin_memory
与电脑硬件性能有关,pytorch
开发者不能确保每一个炼丹玩家都有高端设备,因此pin_memory
默认为False
。