免费使用谷歌colab的GPU资源

1贫穷的炼丹师连炼丹炉都没有，如何白嫖网上的GPU服务器资源呢
网上确实有不少处于商业利益提供一些免费GPU资源的项目，但是这些项目存在一些限制，比如百度AI studio，就只能使用他们的paddle paddle框架，否则会强制中断进程。
这里我发现了谷歌的良心资源，colab，合理组织起使用流程，完全不亚于一台服务器。

XX上网

暂且不表，请大家各显神通

注册谷歌账户，登录谷歌硬盘

https://drive.google.com/drive

建立工作空间和数据空间

比如建立datasets文件夹，上传数据，建立workspace文件夹作为代码保存空间

image.png

进入colab，创建对应的工作环境

进入colab

2.jpg

创建GPU环境

3.jpg

4.jpg

5.jpg

挂载谷歌硬盘到colab

输入如下代码,点击弹出的链接，获取授权码，将授权码复制到方框中，按回车键，挂载硬盘

from google.colab import drive
drive.mount('/content/drive')

image.png

进入工作路径

import os
os.chdir("/content/drive/MyDrive/xxxxx/")  # xxxx是你的谷歌硬盘文件夹的名字

准备工作环境

类似于如下语法，在命令前加!，可以被认为是执行中端代码

! pip install concurrent_log_handler
! pip install seqeval==0.0.3
! pip install transformers==3.1.0

image.png

拉取工作代码

git clone https://github.com/kelseyhightower/nocode.git
git pull origin master

使用GPU训练模型

例如使用命令行的方式

! python main.py --task ccks_addr --arch lstm_crf --prepared_data ccks_addr_elements_prepared_data --save-dir ccks_addr_checkpoints --mode train --batch-size 8 --max-epoch 200

更新代码

更新代码从github中转，然后从colab用git拉取代码，操作起来很方便

断连的解决办法（暂定）

function ClickConnect(){
console.log("Working"); 
document.querySelector("colab-toolbar-button#connect").click() 
}
setInterval(ClickConnect,60000)