Google Colab

1.前言

• 直接输入Google Colab或者点击链接: Google Colab
• 首先得先登录谷歌账户，注册的时候大部分都会遇见无法验证手机号的问题，只需要我们将浏览器的的语言先设置成英文即可，设置成功后记得打开浏览器重启

2.安装TensorFlow和pytorch

2.1安装CPU版本TensorFlow

安装TensorFlow
!pip install tensorflow
检查是否已经安装
import tensorflow as tf
print(tf.__version__)

2.2安装GPU版本TensorFlow和pytorch

• 首先更改运行时的类型
  
  

安装GPU版本的tensorflow
!pip install tensorflow-gpu

查看tensorflow的版本
import tensorflow as tf
print(tf.__version__)

查看是否有GPU
tf.config.list_physical_devices('GPU')

列出所有的本地机器设备
from tensorflow.python.client import device_lib
local_device_protos = device_lib.list_local_devices()
print(local_device_protos)

Colab免费版和pro会员版对应的设备

安装pytorch
!pip install torch
确认是否安装成功
import torch
torch.cuda.is_available()
查看GPU的数量
torch.cuda.device_count()
torch.cuda.get_device_name(0)
查看指定GPU的容量
torch.cuda.get_device_capability(0)
查看GPU的内存使用情况
!nvidia-smi

3.在Colab中加载文件/数据

3.1从本地导入数据

点击左侧文件夹图标中的上传文件即可

下载之后，就可以访问文件夹，并通过一系列的指令，对文件夹里的内容进行操作

3.2从Google Drive导入

• Google Drive类似于百度云盘，是在云上存储数据
• 有免费版有付费版
• 适用场景：
• 1、本地资源有限，就可以将下载下来的数据集存到Google Drive
• 2、需要在不同机器上运行，存储在云端更容易访问

进入Google Drive官网


直接在本地电脑将我们想要的文件夹上传就可以
再返回到Google Colab，点击左边的文件夹图标
连接到自己的Google账户之后，就可以访问文件夹，并通过一系列的指令，对文件夹里的内容进行操作

3.3导入kaggle网站提供的数据集

• 登录kaggle官网
• 点击右侧的个人账户
  
• 在本地电脑的下载里面就可以看到一个json文件
  
• 接下来我们返回Google Colab

首先安装好kaggle库
!pip install -q kaggle
然后导入文件
from google.colab import files
files.upload()
创建文件夹来保存之前下载的json文件
!mkdir ~/.kaggle
再通过cp命令复制json文件到指定的路径下
!cp kaggle.json ~/.kaggle/
再修改json文件的权限确保后续操作能够正常进行，600是指拥有者可以读写，其他人不能读写，777是所有人都可以读写
!chmod 600 ~/.kaggle/kaggle.json
列出kaggle提供的所有数据集
!kaggle datasets list

• 比如去kaggle上找到一个植物的病虫害数据集，按照下图的指令
  

点击Copy APIcommand之后，再回到刚刚的Google Colab界面
先输入！再点击粘贴
!kaggle datasets download -d vipoooool/new-plant-diseases-dataset
点击左侧的文件夹图标，可以看见已经下载完成了

如果想知道kaggle数据集保存的位置，就可以用下面这行命令
!kaggle config set -n path -v

然后再复制上一条下载数据集的命令，就可以看到已经下载到指定目录下

解压刚刚下载好的文件，输入指令!unzip，加上文件夹路径