关于在Google Colab上使用PyTorch框架

前言:
使用云服务器来训练大型网络模型是许多PyTorch开发者的梦想,但可惜的是,百度提供的免费云计算只能使用百度自己的框架,而Google Colab的免费TPU也只能使用TensorFlow框架,因此Google Colab的免费GPU成了唯一的选择
本文将介绍如何使用Google公司为深度学习开发者免费提供的云计算GPU资源
在阅读如何薅资本主义羊毛之前,请先确保你可以成功的访问Google官方,不是镜像网站哦。

必要指出,目前已经有开发者给出了使用PyTorch框架薅Google Colab TPU的羊毛了,可以搜索PyTorch Lightning 了解。

开启Google Colab

开启Google Colab的方式很简单,只需要访问Google Colab的官网并登陆自己的Google账号即可。
关于在Google Colab上使用PyTorch框架_第1张图片
接下来在Google Drive上登陆你的账号,你就会发现,在新建文件一栏中多了一个Google Colaboratory的选项,可以用来创建类似Jupyter NoteBook的交互式笔记本工程。

关于在Google Colab上使用PyTorch框架_第2张图片

运行你的代码

1. 挂载GPU

每次新建Google Colaboratory后,都要进行一次设置,以调用GPU
Edit ==> Notebook settings ==> 选择GPU ==> Save
关于在Google Colab上使用PyTorch框架_第3张图片
关于在Google Colab上使用PyTorch框架_第4张图片

2. 挂载Google Drive

新建一个Google Colaboratory后,Google会为你分配一个临时Linux服务器,你需要把你的训练数据上传到Google Drive服务器上,然后在Linux服务器上挂载该Drive。

  • 挂载Google Drive驱动器
from google.colab import drive
drive.mount('/content/gdrive')

关于在Google Colab上使用PyTorch框架_第5张图片
如图所示,交互界面会显示一个链接用来登陆Google Drive,点击链接登陆后,页面会显示一串验证码,将验证码填入方框中并回车,即可挂载Google Drive。
关于在Google Colab上使用PyTorch框架_第6张图片
关于在Google Colab上使用PyTorch框架_第7张图片

3. 修改工作目录

挂载Google Drive驱动器后,还需要将工程的工作路径一并修改到对应位置。

  • 修改工作目录(不确定的可以使用os.walk()方法打印一下路径下的内容)
import os
os.chdir("/content/gdrive/My Drive/Colab Notebooks/")

4. 安装所需模块

Google Colab默认是带有常用的模块和深度学习框架的,但对于一些不常见的模块,也可以使用系统命令进行安装。
使用系统命令的方法为直接装在代码块中以输入命令,并在命令前加感叹号" ! "
!命令
以安装PyTorch为例(注意pip前面的感叹号):
关于在Google Colab上使用PyTorch框架_第8张图片

5. 运行你的代码

在上面一切都准备好后,就可以搭建网络训练上传到Google Drive中的数据集了

关于Google Colab

  1. Google Colab 会定时断开交互笔记本和服务器的连接以保障其他用户的权益
  2. 长时间占用GPU后连接GPU可能会受到限制导致无法连接到GPU,需要等待几个小时到一天不等,同样是用来保障其他用户的权益
  3. Google Colab 的运行机制为:从Google Drive服务器上下载数据到Linux服务器,在将服务器的数据加载到模型里,因此如果你频繁地加载数据,可能会影响训练速度
  4. 附上我分配到的一个GPU的型号:Tesla P100-PCIE-16GB
  • 大概是这么一个概念
    关于在Google Colab上使用PyTorch框架_第9张图片
    关于在Google Colab上使用PyTorch框架_第10张图片

你可能感兴趣的:(笔记)