基于PyTorch复现CNN模型训练Fashion-MNIST数据集

基于PyTorch复现CNN模型训练Fashion-MNIST数据集

介绍

本文是基于PyTorch在 Fashion-MNIST 数据集上对LeNet, AlexNet, VGGNet, InceptionNet, ResNet等经典卷积神经网络 （Convolutional Neural Networks） 模型进行复现，各模型复现代码及论文地址如下：

• LeNet, Paper Link
• AlexNet, Paper Link
• VGGNet, Paper Link
• InceptionNet, Paper Link
• ResNet, Paper Link

运行环境与配置

python 3.9.11
cuda 11.0.3
cudnn 8.0.5 
torch 1.7.1

• 安装 PyTorch： pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
• 安装 python 依赖包： pip install -r requirements.txt
• 下载 Fashion-MNIST 数据集，在一级目录下新建 data 文件夹并将解压后的文件放置在 data 文件夹下
• 从相应的预训练模型参数文件夹中 下载 best.pth.tar 权重文件 (详见 运行效果记录 表格) 并将 best.pth.tar 权重文件放置在 model 文件夹下
• 在 train.py 文件中的第125至第129行中 选择 你所需要的模型并 检查 超参数

运行效果记录

Date	Network	Train Epochs / Time	Best Test Acc	Model Param
09 June, 2022	LeNet	30 / 18m-29s	0.9016	LeNet-best.pth.tar
11 June, 2022	AlexNet1	30 / 35m-39s	0.9219	AlexNet-best.pth.tar
13 June, 2022	VGGNet2	30 / 30m-35s	0.9135	VGGNet-best.pth.tar
22 June, 2022	InceptionNet	30 / 416m-54s	0.9274	InceptionNet-best.pth.tar
16 June, 2022	ResNet	30 / 82m-24s	0.9340	ResNet-best.pth.tar

备注

• 设备 GPU: NVIDIA GeForce GTX 1070, CPU: Intel i7-7700K, RAM: 32GB and Win10 系统。
• 训练的 loss 曲线详见 Loss Curves 文件夹。
• ¹ 考虑到Fashion-MNIST中图片的大小，这儿所复现的AlexNet网络与最初论文中所设计的AlexNet网络有细微差别，并且在复现中也没有采用seperate group 和 LRN 结构。
• ² 考虑到Fashion-MNIST中图片的大小，在所复现的VGGNet16网络中删除了最后8-13层的两个卷积块。

参考文献

1. LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324.
2. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.
3. Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.
4. Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., … & Rabinovich, A. (2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1-9).
5. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).