用Google免费GPU加速训练(二)

这篇文章记录如何从kaggle上直接下载比赛的数据集到Colaboratory,分为两个步骤:
1、连接自己的Google drive到Colaboratory
主要用于保存数据和训练结果,代码如下:

from google.colab import drive
drive.mount('/content/gdrive')

连接时需要Google 帐户验证,将验证码复制到对话框,按Enter即可。
连接前的临时文件目录如下:
用Google免费GPU加速训练(二)_第1张图片
连接后
用Google免费GPU加速训练(二)_第2张图片
My Drive对应的就是你的Google drive的文件目录。
2.安装kaggle包

!pip install kaggle

安装之后还是不能用,因为缺少了kaggle的API文件,这个文件的获取方式是,进入kaggle网站,找到“我的帐户”,然后往下拉找到API,选择创建新的API令牌,然后你会下载一个kaggle.json的文件,将这个文件放到Google drive中,然后用下面的命令将.json文件复制到root目录下(注:1、cp 原文件 目标文件;2、.kaggle文件夹在root文件夹中是不可见的):

import os
os.makedirs('/root/.kaggle',exist_ok = True)
!cp /content/gdrive/My\ Drive/Deeplearning/kaggle/kaggle.json /root/.kaggle/kaggle.json

然后用下面命令验证下是否安装成功:

! kaggle competitions list

如果你可以看到下面的list就说明安装成功了:

ref                                            deadline             category            reward  teamCount  userHasEntered  
---------------------------------------------  -------------------  ---------------  ---------  ---------  --------------  
digit-recognizer                               2030-01-01 00:00:00  Getting Started  Knowledge       2495            True  
titanic                                        2030-01-01 00:00:00  Getting Started  Knowledge       9929           False  
house-prices-advanced-regression-techniques    2030-01-01 00:00:00  Getting Started  Knowledge       4093           False  
imagenet-object-localization-challenge         2029-12-31 07:00:00  Research         Knowledge         35           False  
competitive-data-science-predict-future-sales  2019-12-31 23:59:00  Playground           Kudos       2394           False  
two-sigma-financial-news                       2019-07-15 23:59:00  Featured          $100,000       2927            True  
LANL-Earthquake-Prediction                     2019-06-03 23:59:00  Research           $50,000       1317           False  
tmdb-box-office-prediction                     2019-05-30 23:59:00  Playground       Knowledge        271           False  
dont-overfit-ii                                2019-05-07 23:59:00  Playground            Swag        754           False  
gendered-pronoun-resolution                    2019-04-22 23:59:00  Research           $25,000        246           False  
santander-customer-transaction-prediction      2019-04-10 23:59:00  Featured           $65,000       2362           False  
womens-machine-learning-competition-2019       2019-04-09 23:59:00  Featured           $25,000         90           False  
mens-machine-learning-competition-2019         2019-04-08 23:59:00  Featured           $25,000        157           False  
histopathologic-cancer-detection               2019-03-30 23:59:00  Playground       Knowledge        716           False  
petfinder-adoption-prediction                  2019-03-28 23:59:00  Featured           $25,000       1301           False  
vsb-power-line-fault-detection                 2019-03-21 23:59:00  Featured           $25,000       1046           False  
microsoft-malware-prediction                   2019-03-13 23:59:00  Research           $25,000       1925           False  
humpback-whale-identification                  2019-02-28 23:59:00  Featured           $25,000       2081            True  
elo-merchant-category-recommendation           2019-02-26 23:59:00  Featured           $50,000       4158           False  
ga-customer-revenue-prediction                 2019-02-21 20:04:00  Featured           $45,000       1100           False  

现在我们就可以从kaggle上下数据了(数据来源:DogsVsCats (https://www.kaggle.com/c/dogs-vs-cats-redux-kernels-edition/data)):

!kaggle competitions download  -c dogs-vs-cats-redux-kernels-edition -p /content/dogsVsCats

其中,-c后面对应链接中/c/…/data中间的那一段,-p对应的是你的存放路径
用Google免费GPU加速训练(二)_第3张图片
下载速度快多了,并且不占自己的硬盘空间,鉴于Colab掉线的问题,你可以将数据下载到Google drive里,一次下载下次直接取用。
下载好之后看看文件夹里都有什么
数据集
和kaggle比赛里给的数据集是一样的
接下来就可以开始自己真正的表演了!!!
我接下来的任务是阅读一下Deep Learning for Computer Vision with Python,因为自己的课题要开始着手做了,所以尽量有机会就在博客上发一下阅读笔记,有什么问题希望各位看官批评指正,感谢各位

你可能感兴趣的:(用Google免费GPU加速训练(二))