pytorch中的【分布式采样器distributedsampler】

在一个epoch中,sampler相当于把整个数据集
划分成了nproc_per_node份,
每个GPU每次得到batch_size的数量,
也就是nproc_per_node 个GPU分一整份数据集,
总数据量大小就为1个dataset

你可能感兴趣的:(pytorch,pytorch,python,人工智能)