MNIST数据集的下载

看了莫烦的教学视频后,我准备自己试试,可是直接在线下载过于缓慢,大概需要几个小时,于是我尝试先去官网下载数据集,再从本地导入,此时参照了一些博客,把url里的官网链接地址改成了本地地址(以file:///开头),可是这样依然会报错:

:EOFError: Compressed file ended before the end-of-stream marker was
reached。

查阅博客发现可能原因是minist文件夹已经存在部分文件或者是mnist数据集下载不完整,于是我把数据集重新下载了一遍(又花了很久),结果还是报相同的错误(这个时候比较绝望了)。我又尝试把数据直接copy到mnist文件夹里,但这样系统还是找不到文件,因为系统要找的是mnist/processed 里的.pt文件。最后,我想可能是下载时间过长导致下载的文件有丢失,**于是利用了下载工具IDM完成下载。这时的下载速度明显快了好几倍。我又新建了文件夹存放这时重新下载的数据,在代码里把路径改成了这时新的文件夹,再运行程序,成功了!(**这时processed文件夹里有两个.pt文件了,虽然我也不知道怎么来的)
需要注意的是,已经下载数据集到本地后,仍然需要设置download=True,因为此时mnist文件夹里还没有数据,不能算是下载成功了,只有程序成功运行过一遍后,才能将download设置为False,可避免重复下载。
下载mnist数据集花费了我将近两天的时间,过程很痛苦,我只能安慰自己万事开头难咯!不过这次也学会了下载工具的使用,应该会为以后的学习提高很多效率,加油吧,deep learning!

你可能感兴趣的:(pytorch,深度学习)