Deep Learning时代最好用的云GPU——Google Colab (免费提供 Tesla T4 GPU)

Deep Learning时代最好用的云GPU

Google Colab (免费提供 Tesla T4 GPU)

        今天是2019年5月8号，距离小亮上次发文技术博客已经过去整整半年，在这半年里小亮在主要应对研一的课程以及研究方向的迷茫不确定，没有坚持写技术博客积累，小亮在这里向大家道歉！现在小亮基本没有课了，半年的迷茫期让小亮意识到基本功的重要性，因此韬光养晦，砥砺前行，我爱NLP，但我更爱扎实的NLP！

        AI技术平台预告：本周小亮主要给大家带来一些技术方面的博文：1.Google Colab (免费提供 Tesla T4 GPU)的搭建以及教程，使用心得。（还是Google天地良心，不得不说国外的技术氛围是真的好，大家如果有机会去国外发展，还是要拼一吧！2.分享最近读的和point-network相关的论文和point-network的思想以及技术实践）

笔者信息：Next_Legend QQ:1219154092 机器学习 自然语言处理 深度学习 统计概率论

小亮的博客：https://legendtianjin.github.io/NextLegend.github.io/ ——2019.5.8于北洋

---

一、前沿介绍

        Colab是Google基于Google Drive存储的对外免费开放的云服务器，主要有CPU,GPU,TPU三种可选硬件加速方案。最近，Colab 将 以前的 K80 替换为 Tesla T4，新一代图灵架构、16GB 显存，重点是免费 GPU！免费！免费！。因此强烈建议大家赶紧薅谷歌的羊毛，获取强大的免费算力。（小亮查了一下，这款Tesla T4售价2W RMB，真的是豪！感谢Google！）

Googole Colab官网链接：https://colab.research.google.com/notebooks/welcome.ipynb#recent=true

二、Google Colab的特点

1. Colab是Google为AI开发人员提供的免费云服务，旨在帮助传播机器学习培训和研究成果。使用Colab，您可以免费在GPU上开发深度学习应用程序。
2. Colab笔记本存储在 Google 云端硬盘中，并且可以共享，就如同您使用 Google 文档或表格一样。
3. 基于Colab ，可以方便的开发利用流行的库如深学习应用Keras，TensorFlow，PyTorch，和OpenCV等。
4. Colab与其他免费云服务区分开来的最重要特征是：Colab提供GPU并且完全免费。它是一个 Jupyter 笔记本环境，不需要进行任何设置就可以使用，并且完全在云端运行。

三、Colab使用基本教程

注意：因为我们要访问google，所以需要VPN，自行解决，可以考虑蓝灯（Larten） (https://www.getlantern.org/zh_CN/index.html)

官网英文教程：https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d

（英文看不懂的，就跟着小亮一起往下看，一样一样的！！！）

3.1在Google云端硬盘上创建文件夹

        由于Colab正在开发您自己的Google云端硬盘，我们首先需要指定我们可以使用的文件夹。我在Google云端硬盘上创建了一个名为“ Colab tutorial” 的文件夹。当然，您可以使用其他名称或选择默认的Colab Notebooks文件夹而不是Colab tutorial文件夹。

3.2 创建新的Colab笔记本

        在刚刚新建的文件夹 Colab tutorial中，通过右键单击>更多> Colaboratory创建一个新笔记本。

        通过单击文件名可以重命名笔记本。

3.3 设置免费GPU

        我们可以改变默认加速硬件（CPU到GPU或者TPU，反之亦然）非常简单; 只需按照编辑>笔记本设置或运行时>更改运行时类型，然后选择GPU作为硬件加速器。(我们这里选择GPU)

3.4 使用Colab运行基本Python代码

        现在我们可以开始使用Google Colab了，使用方法和在jupyter中一模一样。

四、 Colab使用配置教程

4.1使用Google Colab运行或导入.py文件

from google.colab import drive
drive.mount('/content/drive/')

        当您运行上面的代码时，您应该看到如下结果：

       单击链接，复制验证码并将其粘贴到文本框中。完成授权过程后，就可以了。

4.2现在，您可以通过以下方式与Google联系

!ls "/content/drive/My Drive/"

        是的，没有错，我们可以直接在代码块中运行Linux命令！！！

4.3查看当前工作目录

!pwd
!ls

4.4更改工作目录

       1. 在Colab中cd命令是无效的，切换工作目录使用chdir函数

import os
os.chdir("drive")

       2. 回到上级目录

import os
os.chdir("../")

五、 基于Colab的实战教程

5.1运行下面的代码在MNIST数据集上训练一个简单的convnet

        注意文件的路径

! python3 "/content/drive/My Drive/Colab tutorial/mnist_cnn.py"

5.2下载泰坦尼克号数据集（.csv文件）和显示前5行

       1.如果要将.csv文件从url下载 到“ Colab tutorial”文件夹，只需运行

! wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P"/content/drive/My Drive/Colab tutorial"

       2.在“ Colab tutorial”文件夹中读取 .csv文件并显示前5行

# from pandas as pd
import pandas as pd
titanic = pd.read_csv("/content/drive/My Drive/Colab tutorial/Titanic.csv")
titanic.head(5)

5.3安装pandas库，其他库的安装也是一样的

!pip install pandas

六、克隆Github Repo到Google Colab

       第1步：找到Github Repo并获取“Git”链接 找到任何Github回购使用。

       例如：https://github.com/ikostrikov/TensorFlow-Pointer-Networks

       或者 例如：https：//github.com/wxs/keras-mnist-tutorial

       克隆或下载>复制链接

       2.Git Clone 简单地运行

注意：上面两行代码因为没有提前设置自己的工作路径，所以git到的是默认路径，即/content 下。所以我们需要提前设置好下载的路径, 因此这里又多设置了一步路径。

       3.3.在Google云端硬盘中打开文件夹keras-mnist-tutorial

       4.打开笔记本，即MNIST in Keras.ipynb文件，右键单击>打开方式> Colaboratory

       5.Run程序。现在，您可以在Google Colab中运行Github repo。

七、如何安装库？

       !pip install或 !apt-get install安装其他库。

       例如：

       安装Keras

       ！pip install -q keras import keras

八、查看GPU、RAM、CPU信息

       8.1要查看您当前是否在Colab中使用GPU，可以运行以下代码以进行交叉检查.

       8.2我使用的是哪种GPU？

       8.3RAM怎么样？

       8.4那CPU怎么样？

九、如何在Google Colab中使用Tensorboard？

        如果您想在Google Colab中使用Tensorboard，请运行以下代码。您可以使用创建的ngrok.io URL 跟踪Tensorboard日志。您将在输出结尾处找到URL。请注意，您的Tensorboard日志将保存到tb_logs目录。当然，您可以更改目录名称。在那之后，我们可以看到Tensorboard在行动！运行下面的代码后，您可以通过ngrok URL跟踪Tensorboard日志。