pytorch:参数pin_memory=True和non_blocking=True的作用

目录

    • 一、pin_memory
    • 二、non_blocking

一、pin_memory

pin_memory是dataloader()的参数,默认值为False,其作用是是否把把数据存放在锁页内存中。主机的内存根据物理内存(内存条)与虚拟内存(硬盘)进行数据交换分为锁页内存和不锁页内存:

锁页内存:数据存放在物理内存上(内存条)上;
不锁页内存:当物理内存(内存条)满载时,把部分数据转换到虚拟内存上(硬盘)上。
锁页内存(pin_memory)能够保持与GPU进行高速传输,在训练时加快数据的读取,从而加快训练速度。因此,如果主机/服务器的内存足够大,建议把pin_memory设为True,如:

trainloader = torch.utils.data.DataLoader(dataset=traindata, batch_size=BATCH_SIZE, shuffle=True, num_workers=1, pin_memory=True)

二、non_blocking

non_blocking时cuda()的参数,默认值为False,其作用和pin_memory一样,pin_memory是针对物理内存(内存条),而non_blocking是针对GPU上的内存(显存),表士把数据锁页在显存上,在后台进程过程中不释放。一般地,如果pin_momery为True,把non_blocking也设为True,有助于加速数据传输,加快训练过程,如:

model = Model().cuda(non_blocking=True)

你可能感兴趣的:(pytorch,pytorch,深度学习,人工智能)