google colab 免费使用GPU

google colab 免费使用GPU

最近在做brain segmentation的调研,公司的显卡没到,一台笔记本只有3G的显存,跑一个3d的networks就资源耗尽。刚好听说了google有免费的显卡Tesla K80,2599美元一块,还很难买到,于是就开始尝试一番。结果等好不容易把自己demo环境部署好了,运行中发现资源耗尽,运行命令查看cpu 内存上线268M、gpu内存上限358M,浪费了精力。但是呢?对于日常的小任务数据还是可以用colab GPU,故写一篇文章记录一下。


一、准备

在Google Drive上创建文件夹 
这里写图片描述 
Colab用的数据都存储在Google Drive云端硬盘上,所以,我们需要先指定要在Google Drive上用的文件夹,比如说,可以在Google Drive上创建一个“app”文件夹,或者其他什么名字,也可以选择Colab笔记本默认的文件夹。

这里写图片描述

新建Colab笔记本 
在刚刚创建的app文件夹里点击右键,选择“More”,然后从菜单里选择“Colaboratory”,这样就新建出了一个Colab笔记本。

这里写图片描述 
点击笔记本的名字,可以重命名 
这里写图片描述

二、设置免费GPU

这一步,要改变笔记本所用的默认硬件。在笔记本里点Edit>Notebook settings(编辑>笔记本设置),或者Runtime>Change runtime type(运行时>改变运行时类型),然后在Hardware accelerator(硬件加速器)一栏选择GPU。 
这里写图片描述 
然后,Google Colab就可以用了。

三、查看GPU、CPU情况

查看GPU是否在colab中

import tensorflow as tf
tf.test.gpu_device_name()
  • 1
  • 2

如果结果为空,则不能使用GPU,如果结果为/device:GPU:0

使用!/opt/bin/nvidia-smi查看显存情况 
这里写图片描述 
查看显卡内存使用上限

from tensorflow.python.client import device_lib
device_lib.list_local_devices()
  • 1
  • 2

这里写图片描述

其他见六

四、挂载google drive(也就是google网盘)

先挂载你google drive里的工作文件夹,才能你文件夹里的文件

在笔记本里先运行下面这些代码,来安装必要的库、执行授权

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

运行的时候应该会看到下图所示的结果: 
这里写图片描述 
看见那个链接之后,点击它,复制验证码并粘贴到文本框里。

授权完成后,就可以挂载Google Drive了:

!mkdir -p drive
!google-drive-ocamlfuse drive
  • 1
  • 2

五、clolab笔记本的使用

  • install
!pip install -q keras
import keras
  • 1
  • 2
  • uninstall
!pip uninstall -y keras 
# 注意这儿用-y是因为,google笔记本只会显示结果不能输入,因此避免安装过程中需要你输入yes什么的
  • 1
  • 2
  • 改变目录
# 注意不能用!cd ../
!pwd
import os
os.chdir('../')
!pwd
  • 1
  • 2
  • 3
  • 4
  • 5
  • git clone
!git clone https://github.com/wxs/keras-mnist-tutorial.git
  • 1
  • 下载数据
!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/app
  • 1
  • 查看内存信息
!cat /proc/meminfo
  • 1
  • 查看CPU信息
!cat /proc/cpuinfo
  • 1

六、运行一个事例

安装Keras:

!pip install -q keras
  • 可以运行以下代码来看看你是否挂载文件夹成功:
  • !pwd
    import os
    os.chdir('../drive/app')
    !pwd
    !ls

  • google colab 免费使用GPU_第1张图片

上传文件mnist_cnn.py 到你的google drive中的app文件夹中,文件内容如下 
这里写图片描述 
用MINIST dataset训练一个简单的卷积神经网络 

!python3 drive/app/mnist_cnn.py 参考别人的教程一直会提示没有对应的路径和文件夹

!python3 /drive/app/mnist_cnn.py 应该是从根目录下开始

运行结果如下: 
这里写图片描述
  1. 参考https://blog.csdn.net/linhai1028/article/details/79275945

参考资料

  1. Google Colab Free GPU Tutorial

  1. 薅资本主义羊毛,用Google免费GPU

你可能感兴趣的:(深度学习,google,GPU,深度学习)