关于超分辨重建SwinIR模型的训练中的一些问题

文章目录

  • 主要记录一下超分辨重建模型SwinIR训练中的成本,也给要做这部分的同学一点直观认识


主要记录一下超分辨重建模型SwinIR训练中的成本,也给要做这部分的同学一点直观认识

…总感觉意义不大
官方公布的可训练代码


大部分参数选择默认
num_workers = 16
batch size = 32
GPU:4*3090
显存占用:15.6G/每张3090,总的显存占用在62G左右,建议至少70G显存往上,毕竟要做Transformer。
也可以选择小的batch size进行训练,例如我曾经尝试过batchsize = 6,显存占用10G左右,然后结果和训练时间一言难尽。
iterations:[250000,400000,450000,475000,500000]共500K (batchsize = 32)
epochs:DIV2K(论文官方为900张图像):17k以上;DF2K(论文官方为3550张图像):4.5k以上
训练时间:大约3.2天(采用的是autodl总用的GPU,开启了多GPU分布式训练,总感觉这个时间太长(官方数据8张2080ti使用的1.8天))
训练结果:以PSNR_Y进行测试。
使用DIV2K进行训练,在Set5和Set14结果接近,BSD100,Urban100和Manga109均达不到论文中的效果,最大有0.1db差距。应该需要增加训练时间。
使用DF2K进行训练,在Set5、Set14、BSD100,Urban100和Manga109达到论文中的效果,PSNR约有0.01db的正常误差范围。


下一步测试一下在4090/A100 40G上的速度表现…

你可能感兴趣的:(深度学习,人工智能,机器学习)