【pytorch】FL联邦学习 数据集的划分+non-iid数据集的划分

目录

  • 问题来源:
  • iid划分(随即划分数据集)
    • 1 torch.utils.data.Subset
  • 2 手动划分
    • 3 根据每个client的索引进行数据集划分
  • 3 按照 non-i.i.d. 划分
    • 3.2 dirichlet分布的 non-iid

问题来源:

torchvision.datasets里的数据集都是整一个的,尤其在联邦学习中,我们需要划分不同的数据集给不同的参与者,如何将torchvision中的数据集划分成为了联邦学习中的重大挑战。

本文提供几种划分方式。

iid划分(随即划分数据集)

1 torch.utils.data.Subset

torch包有划分torchvision数据集的函数Subset,用法如下:

import

你可能感兴趣的:(联邦学习,pytorch入门到精通,pytorch,python,深度学习)