Pytorch中ImageFolder的使用,如何使用Pytorch加载本地Imagenet的训练集与验证集,Imagenet 2012验证集的分类

Pytorch ImageFolder的使用,使用Pytorch加载本地Imagenet的训练集与验证集,Imagenet 2012验证集手动分类

torchvision 中有一个常用的数据集类 ImageFolder,它假定了数据集是以如下方式构造的:

root/ants/xxx.png
root/ants/xxy.jpeg
root/ants/xxz.png
.
.
.
root/bees/123.jpg
root/bees/nsdf3.png
root/bees/asd932_.png

这里需要说明一下,‘root’是你的根目录,'ants’和’bees’是’root’文件夹下的两个子文件夹,‘xxx.png’、‘xxy.jpeg’、'xxz.png’是‘ants’文件夹下的图片,‘123.jpg’、‘nsdf3.png’、'asd932_.png’是’bees’文件夹下的图片,也就是说’ants’和’bees’是分类标签(即不同类别的训练数据分别存储在不同的文件夹中),利用这些你可以按如下的方式创建一个数据加载器 (dataloader) ,在这里我们以Imagenet数据集为例:

import torch
import torchvision
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader
import torchvision.transforms as transforms

data_transform = transforms.Compose([
        transforms.Resize(299),
        transforms.CenterCrop(299),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                    	     std=[0.229, 0.224, 0.225])
    ])
train_dataset =torchvision.datasets.ImageFolder(root='ILSVRC2012/train',transform=data_transform)
train_dataset_loader =DataLoader(train_dataset,batch_size=4, shuffle=True,num_workers=4)

train_dataset = torchvision.datasets.ImageFolder(root='ILSVRC2012/val',transform=data_transform)
train_dataset_loader = DataLoader(train_dataset,batch_size=4, shuffle=True,num_workers=4)   

Imagenet一共有三个文件夹,分别是train、val、test,train里边有1000个文件夹分别代表1000个类每个类下边有1300张对应类别的图片,val里边有50000张验证集图片,用ImageFolder进行数据加载的时候,训练集直接按上述办法加载就好,而验证集我们需要对他进行处理,使用如下脚本把验证集50000张图片分别划分到相应类的文件夹中,再进行加载就可以了

验证集分类脚本

(新手刚开始写博文,如果有写的不明白的地方请留言)

你可能感兴趣的:(Pytorch中ImageFolder的使用,如何使用Pytorch加载本地Imagenet的训练集与验证集,Imagenet 2012验证集的分类)