Colab使用

免费GPU——Colab平台使用

一、简介

colab是google提供的一个免费GPU的Jupyter云服务平台,可以应用各种流行库,如深度学习的pytorch,tensorflow和keras等。

二、colab使用

1,访问colab
https://colab.research.google.com/notebooks/welcome.ipynb
(注:访问google需要tz,这就需要科学上网才能注册、使用,有需要可以私我)
2,使用GPU
使用colab需要的项目是放在google的云端硬盘里的,下面是链接:https://drive.google.com/drive/my-drive。登录进去就可以新建colaboratory了
Colab使用_第1张图片
新建后更改运行时类型选择GPU
Colab使用_第2张图片
Colab使用_第3张图片
使用以下代码检查是否分配到GPU,点击左边运行或者Ctrl+shift都可。一般来说免费的会分配到Tesla K80。(这里需要说明一下因为colab为我们提供的是一个ubuntu虚拟机,所以终端命令前需要带 “!”)

!nvidia-smi

Colab使用_第4张图片
3,运行代码
3.1 挂载云端硬盘
colab运行原理实际上是分配给我们一台远程带GPU的主机,所以原始路径不是我们的云端硬盘,所以第一步我们必须先把谷歌云盘挂载到那台远程主机上。
点击“装载google云端硬盘”出现以下代码,出来一个框需要输入验证码,按提示点击链接复制输入即可。
Colab使用_第5张图片

from google.colab import drive
drive.mount('/content/drive')

3.2 目录
查看当前脚本目录,!pwd
在这里插入图片描述
修改目录cd +"复制的路径"(路径可以到左边导航栏右键点击路径目录进行复制)

cd /content/drive/MyDrive/Colab Notebooks/drive

在这里插入图片描述
3.3 运行程序

!python XXX.py

3.4 下面是几条常用命令
(1)上传文件

from google.colab import files
files.upload()

(2)解压文件

!unzip "压缩包路径" -d"解压路径"

(3)从github上拷贝项目,如下

!git clone https://github.com/tensorflow/tensorflow.git

(4)复制路径下文件
1)复制文件夹

import shutil
shutil.copytree("复制的文件夹", "目标路径——新文件夹名")

2)复制单个文件

import shutil
shutil.copy("复制的文件夹", "目标路径——新文件夹名")

三、扩存云端硬盘

云端硬盘中我的云端硬盘只有15G,刚上传没几个文件空间就不够用了,开colab pro需要$9.9,而且还需要开通visa信用卡,对于学生来说实在不方便,所以在此推荐一个共享云端硬盘使用方法(每个共享云盘150G存储空间)。
开启共享云盘步骤:
点击链接https://td.msgsuite.workers.dev/,按照要求填写共享云盘名称google邮箱、选择机构,再进行验证就可以了。

四、避免colab训练过程中掉线

colab理论上最多可以连续工作12小时(实际达不到),之后便会重新分配资源,但在此期间也会因网络原因或过就没有交互而导致disconnect情况,因此下面提供几行代码解决这一问题,若训练时间超过12小时断开,那就不适用了。
按F12进入console,输入以下代码enter一下就可以实现一分钟点击一次。

function ConnectButton(){
    console.log("Connect pushed"); 
    document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click() 
}
setInterval(ConnectButton,60000);

Colab使用_第6张图片
分享就到这里,有什么问题大家再互相补充、讨论。

你可能感兴趣的:(深度学习,python,pytorch,gpu)