Kaggle数据集上传到Google Colab上,亲测绝对有效

Kaggle提供免费的GPU,但是时间是有限制的,但是Google Colab的GPU是没有时间限制的,所以本文介绍一下如何将Kaggle数据集上传到Google Colab上,如果本地上传,实在是慢,但通过Kaggle数据API式上传,在我笔记本上,上传数据的速度能达到77MB/s;

要实现数据上传,只需要在Colab笔记上依次运行下面的命令即可,亲测有效:

!pip install kaggle
import json
token = {"username":"xxxxx","key":"xxxxx"}
with open('/content/kaggle.json', 'w') as file:
  json.dump(token, file)

上面中token字典中键对应的值是你账号的内容,具体操作如下:

1. 首先进入Kaggle,点击你的头像,点击My Account;

Kaggle数据集上传到Google Colab上,亲测绝对有效_第1张图片

2. 往下拖,点击下面API中Create New API Token,他会自动生成一个json文件;

Kaggle数据集上传到Google Colab上,亲测绝对有效_第2张图片

3. 将你的json文件后面对应的 username 与 key 对应的内容填充到上面的代码块中;

接下来,依次运行下面的代码:

!mkdir -p ~/.kaggle
!cp /content/kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json
!kaggle config set -n path -v /content

 到这里,我们就算完成了一些初始步骤,可以说,上面这些步骤无论在kaggle上下载什么数据集都需要重复的;

接下来,是你想下载什么数据集,就运行什么数据集的API(Kaggle)上;

如何寻找kaggle数据的API? 

1.寻找我们想下载的数据集:

Kaggle数据集上传到Google Colab上,亲测绝对有效_第3张图片

2. 点击New Notebook上面右边的标记;

Kaggle数据集上传到Google Colab上,亲测绝对有效_第4张图片

3. 点击Copy API command ,然后复制到Colab中运行,即可完成数据下载;

Kaggle数据集上传到Google Colab上,亲测绝对有效_第5张图片

结果显示,即使是10G左右的数据,也能下载的非常快; 

 

你可能感兴趣的:(机器学习)