(亲测速度杠杠的!)解读源码------完美解决Tensorflow 常用数据集下载!

原文链接: https://blog.csdn.net/LQ_qing/article/details/98038676

     入门Tensorflow时,常常会用到官方提供的简易数据集:MNIST,CIFAR-10,CIFAR-100,IMDB,FASHION-MNIST。但这些常用数据集的默认下载路径往往是国外的,所以,我们必须掌握科学的上网方式,才能下载得到,而且速度还有所限制。

      现在,国内也提供了很多好的下载资源,但每次使用时,都需要自己手动下载,并手写一些数据加载代码才能使用。这个过程对于新入门深度学习的小伙伴是极其痛苦的,而且,这些方式完全摒弃了Tensorflow官方封装好的数据加载和读取接口,即我们走了一条弯曲,费力的山路。

      对于程序员,有问题就要找解决方法,最好的解决方法就是阅读Tensorflow中关于数据加载的源码。最终,少奶奶找到了目前最简易,方便,一劳永逸的解决方法,在此分享给大家。

 

思路:既然Tensorflow的默认下载路径是国外的,那么我们只需要把源码中默认的下载路径修改成国内的即可

 

少奶奶的环境:anacond 3.x,window 10,Tensorflow 2.0

(小伙伴的环境不同的话也没关系,只要能找到Tensorflow包中,常用数据集源码即可,使用anacond是为了方便深度学习时 所需包的管理)

在anacond的安装路径中,按如下路径,找到常用数据集下载源码文件

(D:\Anaconda3\envs\(你环境的名称)\Lib\site-packages\tensorflow\python\keras\datasets)(亲测速度杠杠的!)解读源码------完美解决Tensorflow 常用数据集下载!_第1张图片

我们以下载cifar10数据集为例,其他数据集的下载是相同的

前置知识:Tensorflow的默认下载路径是~\.keras\datasets中,不同平台略有差异,若你提前下载后数据集后,只需要把数据解压到该目录即可

window:C:\Users\(用户名)\.keras\datasets

第一步:打开cifar10.py文件,找到load_data()函数中的dirname和origin

(亲测速度杠杠的!)解读源码------完美解决Tensorflow 常用数据集下载!_第2张图片

dirname:表示解压数据集后的文件名称,

注意:若你提前下载好了cifar10数据集的话,解压后的文件名称也必须和dirname相同,不然,使用load_data()进行加载时会报错,

origin:下载cifar10的链接,

注意:这个链接可以替换成国内的任意下载链接,真正做到了一劳永逸,简洁高效。不需要手动,而且下载速度比用浏览器快多了!!!

下面附上下载进度条

(亲测速度杠杠的!)解读源码------完美解决Tensorflow 常用数据集下载!_第3张图片

第二步: 使用Tensorflow原生的接口进行调用数据

(亲测速度杠杠的!)解读源码------完美解决Tensorflow 常用数据集下载!_第4张图片

 

 

 

你可能感兴趣的:(深度学习)