谷歌colab平台简单使用及读取自己的数据集

前言

最近在做一个项目，用自己的数据集训练一个YOLOv3的目标检测模型，但苦于自己电脑配置太低，在朋友的推荐下，选择了谷歌Colab平台，对我来说在、，真是发现了一个新天地（见识太短，勿喷，哈哈）。
本文将对colab的简单配置、使用进行介绍。

什么是Colab

Colaboratory 是一个免费的 Jupyter 笔记本环境,免费提供GPU运算服务，不需要进行任何设置就可以使用，并且完全在云端运行。可以上传训练自己的数据集。

Colab的配置

也可以说是使用Colab的前期准备。

1、谷歌云端硬盘

谷歌云盘可以是说是进行Colab的入口，因为Colaboratory平台是依赖于谷歌云盘的，创建所有代码也都是存在谷歌云盘里的，而且云盘还免费提供了15G空间。

• 我可以首先在云盘里新建个文件夹MyColab
  
• 进入MyColab文件夹，新建一个Colab项目
  
• 创建后，我们就进入了colab界面，跟Jupyter很像的，下面就可以开始编辑代码了。
  

2、设置环境，用GPU计算

• “修改” ——> “笔记本设置” ——> “硬件加速器” ——> “GPU” ——> “保存”
  
  
• 此时，你会看到后台是GPU提供计算
  

运行代码

1、加载必要的包

Colab已经安装的有很多包，比如Keras、Tensorflow、PyTorch等等。

• 运行以下代码

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

会出现下面效果，点击链接，登陆谷歌账号，将获取的验证码复制粘贴至下面那个框中，然后回车就行，注意： 要输入两次。

2、装载Google云端硬盘

如果需要训练自己的数据集，需要这一步

• 首先将自己的数据集上传至谷歌云盘里，比如我这里在云盘里新建一个DataSet文件夹，将数据集上传至此文件夹下。
• 运行以下代码装载云盘，或如下图点击按钮进行装载，右侧会出现drive文件夹，。

from google.colab import drive
drive.mount('/content/drive')

3、加载云盘里的文件

• 首先需要修改项目运行根目录，也就是切换至自己的云盘，运行下面代码后就可看到自己云盘根目录下的文件夹

%cd /content/drive/My Drive
!ls

• 从云盘中读取文件和往云盘中保存文件，以读取和保存图片为例，如下

from PIL import Image
image = Image.open('DataSet/hats/JPEGImages/001141.jpg')
print(image)
image.save('DataSet/pp.jpg')

当训练和保存自己的模型时，加载数据集路径如上面那样，