google colab 免费使用GPU

google colab 免费使用GPU

最近在做brain segmentation的调研，公司的显卡没到，一台笔记本只有3G的显存，跑一个3d的networks就资源耗尽。刚好听说了google有免费的显卡Tesla K80，2599美元一块，还很难买到，于是就开始尝试一番。结果等好不容易把自己demo环境部署好了，运行中发现资源耗尽，运行命令查看cpu 内存上线268M、gpu内存上限358M，浪费了精力。但是呢？对于日常的小任务数据还是可以用colab GPU，故写一篇文章记录一下。

---

一、准备

在Google Drive上创建文件夹 
 
Colab用的数据都存储在Google Drive云端硬盘上，所以，我们需要先指定要在Google Drive上用的文件夹，比如说，可以在Google Drive上创建一个“app”文件夹，或者其他什么名字，也可以选择Colab笔记本默认的文件夹。

新建Colab笔记本 
在刚刚创建的app文件夹里点击右键，选择“More”，然后从菜单里选择“Colaboratory”，这样就新建出了一个Colab笔记本。

 
点击笔记本的名字，可以重命名 

二、设置免费GPU

这一步，要改变笔记本所用的默认硬件。在笔记本里点Edit>Notebook settings（编辑>笔记本设置），或者Runtime>Change runtime type（运行时>改变运行时类型），然后在Hardware accelerator（硬件加速器）一栏选择GPU。 
 
然后，Google Colab就可以用了。

三、查看GPU、CPU情况

查看GPU是否在colab中

import tensorflow as tf
tf.test.gpu_device_name()

• 1
• 2

如果结果为空，则不能使用GPU，如果结果为/device:GPU:0

使用!/opt/bin/nvidia-smi查看显存情况 
 
查看显卡内存使用上限

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

• 1
• 2

其他见六

四、挂载google drive（也就是google网盘）

先挂载你google drive里的工作文件夹，才能你文件夹里的文件

在笔记本里先运行下面这些代码，来安装必要的库、执行授权

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

运行的时候应该会看到下图所示的结果： 
 
看见那个链接之后，点击它，复制验证码并粘贴到文本框里。

授权完成后，就可以挂载Google Drive了：

!mkdir -p drive
!google-drive-ocamlfuse drive

• 1
• 2

五、clolab笔记本的使用

• install

!pip install -q keras
import keras

• 1
• 2

• uninstall

!pip uninstall -y keras 
# 注意这儿用-y是因为，google笔记本只会显示结果不能输入，因此避免安装过程中需要你输入yes什么的

• 1
• 2

• 改变目录

# 注意不能用!cd ../
!pwd
import os
os.chdir('../')
!pwd

• 1
• 2
• 3
• 4
• 5

• git clone

!git clone https://github.com/wxs/keras-mnist-tutorial.git

• 1

• 下载数据

!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/app

• 1

• 查看内存信息

!cat /proc/meminfo

• 1

• 查看CPU信息

!cat /proc/cpuinfo

• 1

六、运行一个事例

安装Keras:

!pip install -q keras

• 可以运行以下代码来看看你是否挂载文件夹成功：
• !pwd
  import os
  os.chdir('../drive/app')
  !pwd
  !ls
  
• 
  
• 
  

上传文件mnist_cnn.py 到你的google drive中的app文件夹中，文件内容如下 
 
用MINIST dataset训练一个简单的卷积神经网络 

!python3 drive/app/mnist_cnn.py 参考别人的教程一直会提示没有对应的路径和文件夹

!python3 /drive/app/mnist_cnn.py 应该是从根目录下开始

运行结果如下： 

1. 参考https://blog.csdn.net/linhai1028/article/details/79275945

---

参考资料

1. Google Colab Free GPU Tutorial

1. 薅资本主义羊毛，用Google免费GPU