使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程

使用谷歌Colab(Colaboratory)免费GPU训练自己的模型及谷歌网盘无限容量(Google drive)申请教程

谷歌的colab(Colaboratory)是谷歌为全世界学术研究者免费提供GPU算力的项目，目前能够提供的显卡包括K80、Tesla T4、Tesla P100 PCIE等用于深度学习加速训练的专业级显卡，可以免费使用12h，12h后自动断开服务器连接。也可以付费成为Clab Pro用户，每月9.99刀，折合下来只要七八十元，使用时间相对免费版宽裕一些，但是连接的时间长了还是会被限额，以下是我使用Colab的一个简单教程，从头开始。结合谷歌网盘的无限容量可以实时将训练好的模型保存到谷歌网盘，避免在断开连接时数据丢失。

1.上网设置

谷歌是属于国外站点，因此国内网络无法正常访问，此时需要使用相关方法能够访问外部网络（科普：私自搭建外网服务信道违法， 建议小心行事，不要随意访问其他违法网站即可），在此博主就不推荐相关方法了，请自行去查找相关方法，如果实在找不到方法可以联系博主（[email protected]）

2.谷歌账号注册及谷歌网盘获取

2.1谷歌账号注册

在能够正常访问外网站点后，需要进入https://mail.google.com/mail/注册谷歌邮箱账户，以gmail.com结尾。

2.2 谷歌网盘及无限容量团队盘获取

点击进入谷歌网盘https://drive.google.com/，使用刚刚注册的谷歌邮箱账号登录，但是登陆后容量只有15G，这对于我们深度学习所需的容量来说是远远不够的，因此我们需要申请无限容量团队盘。

点击https://gd.zxd.workers.dev/填写好团队盘的名称和注册的gmail邮箱地址点击submit即可，此盘只有自己可见，自己是管理员。

3.数据上传

接下来就是要将你训练的所有数据代码及整个工程上传至Googledrive，直接在Googledrive页面右键上传新文件或文件夹即可（建议直接上传压缩包，速度快）后面直接在colab里面解压就可以了。

4.配置Colab

点击https://colab.research.google.com/notebooks/intro.ipynb打开Colab，页面如下，使用gmail邮箱登陆后右上角显示头像。

tips：在不正式训练（如需要解压缩文件或者修改代码）时可不使用GPU模式以节省时间防止限额。

4.1连接谷歌网盘

如下图，首先查看1处是否现实内存等信息，如果显示才可以连接。然后点击2处切换到文件面板，点击3notebook面板显示连接谷歌网盘的代码（4），点击5处的链接获取授权信息及授权码填入下面的框里回车即可连接到谷歌网盘


在共享盘中可以查看到自己上传的文件。

4.2 连接到GPU

点击修改–笔记本设置 将硬件加速器改成gpu，等待服务器重新连接即可。


12小时的限额对于很多模型训练来说是不太够，因此可以购买Pro版本，付费问题可以使用淘宝代购或其他途径。

5.训练

由于各个模型的环境都不一样，Colab使用的Linux环境，因此命令与Linux类似，可以使用pip install 安装或者更改你想要的库（服务器断开连接后全部清零）
我总结了一些比较常用的：

#更改工作路径
%cd /content/drive/Shared\ drives/***/MR #进入到MR文件夹

#解压文件
!unzip ***/images.zip -d (解压到哪个文件夹)

#查看当前目录
!pwd

#运行py文件：
!python train.py

#其他常用命令与linux类似

如果需要更改某个代码文件直接双击文件即可。

6. 总结

总的来说如果在没有足够资源的情况下colab还是比较实用的，免费版训练的显卡是随机分配的，有一些缺点目前总结如下：

1. 限额，12h的限额比较难受，因此需要及时保存训练的模型，长时间不用gpu的情况下也会被限额（Pro版也一样），因此训练完建议及时改成gpu或停止。
2. 环境，每次断开服务器都需要重新设置环境和连接谷歌网盘，流程都要走一遍。
3. 网盘，数据量较大的情况下，谷歌网盘的速度实在是慢！！！
   除了谷歌外还有一些免费的平台貌似也可以使用，如paperspace、百度的AI studio等。
   如果各位同仁在使用过程中还有啥问题大家也可以一起交流：[email protected]

本文为自己总结，如有侵权请联系删除！