英伟达Tesla K80 GPU,2599美元一块,还很难买到;搭载K80的AWS EC2 P2实例,用起来也很肉疼。
高大上的GPU,不花钱也能用上。Google的一项免费云端机器学习服务,最近也用上了Tesla K80。
这么好的羊毛,当然要薅起来啊!
这项资本主义社会的伟大创造,就是Google Colab,全名Colaboratory。你可以用它来提高Python技能,也可以用Keras、TensorFlow、PyTorch、OpenCV等等流行的深度学习库来练练手,开发深度学习应用。
地址在这里,Google还贴心地写了中文版简介:https://colab.research.google.com/notebook
即便如此,据说还有人不会用?
号称喜欢训练深度神经网络的作者fuat,就详详细细的写了一份Google Colab免费GPU试用指南~
Colab用的数据都存储在Google Drive云端硬盘上,所以,我们需要先指定要在Google Drive上用的文件夹。
比如说,可以在Google Drive上创建一个“app”文件夹,或者其他什么名字,也可以选择Colab笔记本默认的文件夹。
在刚刚创建的app文件夹里点击右键,选择“More”,然后从菜单里选择“Colaboratory”,这样就新建出了一个Colab笔记本。
点击笔记本的名字,可以重命名。
这一步,要改变笔记本所用的默认硬件。在笔记本里点Edit>Notebook settings(编辑>笔记本设置),或者Runtime>Change runtime type(运行时>改变运行时类型),然后在Hardware accelerator(硬件加速器)一栏选择GPU。
然后,Google Colab就可以用了。
我们来运行一些Python Numpy教程里的基本数据类型代码。
这些代码来自斯坦福大学卷积神经网络与视觉识别课程(CS231n)的Python Numpy教程,
地址:http://cs231n.github.io/python-numpy-tutorial/
运行结果如你所料。
先运行下面这些代码,来安装必要的库、执行授权。
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
运行的时候应该会看到下图所示的结果:
看见那个链接之后,点击它,复制验证码并粘贴到文本框里。
授权完成后,就可以挂载Google Drive了:
!mkdir -p drive
!google-drive-ocamlfuse drive
安装Keras:
!pip install -q keras
将mnist_cnn.py文件上传到位于Google云端硬盘上的应用文件夹:
运行下面的代码,用MNIST数据集训练一个简单的卷积神经网络:
!python3 drive/app/mnist_cnn.py
从结果中可以看到,每个epoch只需要11秒。
想按照链接下载.csv文件到app文件夹,只需运行:
!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/app
也可以直接将.csv文件上传到app文件夹:
然后读取app文件夹中的.csv文件,显示前5行:
import pandas as pd
titanic = pd.read_csv(“drive/app/Titanic.csv”)
titanic.head(5)
安装Keras:
!pip install -q keras
import keras
安装PyTorch:
!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision
import torch
安装OpenCV:
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2
安装XGBoost:
!pip install -q xgboost==0.4a30
import xgboost
安装GraphViz:
!apt-get -qq install -y graphviz && pip install -q pydot
import pydot
安装7zip Reader:
!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive
安装其他库:
用!pip install
或者!apt-get install
命令。
要查看你在Colab里是不是真的在用GPU,可以运行以下代码来交叉检查:
import tensorflow as tf
tf.test.gpu_device_name()
如果显示上图左侧的结果,就是在用CPU,显示右侧结果就是在用GPU。
from tensorflow.python.client import device_lib
device_lib.list_local_devices()
其实现在,Colab只提供Tesla K80,所以你会看到下图这样的结果:
!cat /proc/meminfo
!cat /proc/cpuinfo
好好学习,认真薅毛。
原文说会持续更新,推荐收藏以备不时之需:https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
分享朋友圈 也是另一种赞赏
The more we share, The more we have
欢迎加入数据君高效数据分析社区
进入大数据干货交流群可以加微信号:tongyuannow
目前100000+人已关注加入我们