pytorch 训练时候不动了

因为用的线程太多， 打开文件太多了导致的，如下步骤

1 num_workers变小有助于解决这个问题

    train_loader = DataLoader(
        dataset=train_set,
        batch_size=args.batchsize,
        shuffle=True,
        num_workers=4,
        pin_memory=True,
    )

2.提高linux limit

  参考https://learnku.com/articles/21457

 

3.程序中使用了Image.open, 但是没有close

img = Image.open(imgpath).convert("RGBA")
img.close()

4.不使用多线程，使用主线程加载数据

    train_loader = DataLoader(
        dataset=train_set,
        batch_size=args.batchsize,
        shuffle=True,
        num_workers=0,
        pin_memory=True,
    )

5.检查图片，是否有异常图片，加载使用主线程，对与加载的前后，打印文件名，如果，开始加载的文件名打印了，加载结束后的文件名，，没有打印，代表这个文件加载失败，查看文件图片长宽等是否异常，我遇到这个 问题是，某些图片，宽只有40，出现了异常。修复或忽略异常图片即可。