使用Colab训练步骤(有点mmdetection内容)

目录

  • 1. 参考链接
  • 2. 有用的命令
  • 3. 过程-参考第一个链接!
    • 3.1 打开colab,连接云端虚拟机
    • 3.2 配置实验资源(code+dataset)
  • 4. 使用colab的注意事项
  • 5. 断连问题解决方法


1. 参考链接

  • 这个链接真的超详细!利用谷歌colab跑github代码AttnGAN详细步骤 深度学习实验(colab+pytorch+jupyter+github+AttnGAN)
  • 使用自己数据集在google colab上进行yolov5模型训练
  • Google colab 安装旧版本pytorch1.6
  • colab 上挂载云盘,切换到指定目录
  • Colab使用教程(我觉得这篇文章写得很小清新)

❀❀❀❀❀

一定要去看官方教程!!!我这里没有写完整!!!

关于mmdetection在Colab上的配置,可参考以下:

  • 官方教程已经写得很清楚啦mmdetection-Object Detection
  • 链接1
  • 链接2

2. 有用的命令

  • 挂载云盘 + cd进入到项目目录
# 挂载到云盘
from google.colab import drive
drive.mount("/content/drive")
# 进入项目(注意必须是单引号),并切换进mmdetection-2.24.1目录,开始运行代码
import os
os.chdir('/content/drive/MyDrive/mmdetection_work/')
%cd /content/drive/MyDrive/mmdetection_work/mmdetection-2.24.1
  • 返回上一级:!cd …(但是好像有时候用%才有用呀,要切换到某目录下,就写成%cd 路径
  • 删除某个文件或者文件夹:!rm -rf <文件or文件夹>
  • 查看当前目录:!pwd
  • 查看当前目录里的所有文件和文件夹:!ls
  • 解压zip格式的压缩文件(text.zip为目标文件):!unzip text.zip
  • 解压tar格式的压缩文件(CUB_200_2011.tgz为目标文件):!tar -xf CUB_200_2011.tgz
  • 显示GPU信息:!nvidia-smi
  • 显示当前Cuda信息:!nvcc -V
  • 显示当前Torch版本:
import torch
print(torch.__version__)

3. 过程-参考第一个链接!

3.1 打开colab,连接云端虚拟机

(1) 进入谷歌云端硬盘 google drive 后,新建一个文件夹取名为mmdetection_work(专用于colab进行mmdetection训练)

(2) 进入到mmdetection_work文件夹(此时为空),右键,在更多中找到colaboratory(如图)

使用Colab训练步骤(有点mmdetection内容)_第1张图片

(3) 跳转来到Colab界面,如下图所示,相当于Jupyter,以文档的形式展现,可以运行和共享代码(点击上面的文件名Untitled0.ipynb可直接改名,我重命名为``)

注意左边那个橘色的文件夹部分,当成功连接到可执行文件时,就会显示自己挂载的云盘以及相应文件夹。

使用Colab训练步骤(有点mmdetection内容)_第2张图片

等待后,显示这样就是连接成功

使用Colab训练步骤(有点mmdetection内容)_第3张图片

(4) 点击连接,连接谷歌colab为你提供的虚拟机

使用Colab训练步骤(有点mmdetection内容)_第4张图片

(5) 更改虚拟机设置,使用GPU,准备开始白嫖

点击左上角修改-笔记本设置-硬件加速改为GPU

使用Colab训练步骤(有点mmdetection内容)_第5张图片 使用Colab训练步骤(有点mmdetection内容)_第6张图片

运行命令!nvidia-smi可查看分配的GPU信息


3.2 配置实验资源(code+dataset)

(1) 运行以下代码装载谷歌云端硬盘到虚拟机

from google.colab import drive
drive.mount('/content/drive')

(2) cd进入到mmdetection文件夹下,然后克隆github项目到虚拟机sample_data文件夹(一般情况下放在此文件夹,别处也可以)

首先找到github代码的HHTPS地址,如YOLOv5的:

使用Colab训练步骤(有点mmdetection内容)_第7张图片

然后在colab中输入克隆命令:

# install dependencies: (use cu111 because colab has CUDA 11.1)
!pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html

# install mmcv-full thus we could use CUDA operators
!pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html

# Install mmdetection
!rm -rf mmdetection
!git clone https://github.com/open-mmlab/mmdetection.git
%cd mmdetection

!pip install -e .

(剩下的操作还是看原链接吧,因为我还不大看得懂┭┮﹏┭┮:利用谷歌colab跑github代码AttnGAN详细步骤 深度学习实验(colab+pytorch+jupyter+github+AttnGAN)还有官方文档mmdetection-Object Detection)


4. 使用colab的注意事项

  1. colab的GPU使用是完全免费的,随便用,乱用,使劲用,加油一起薅谷歌的羊毛。
  2. 执行命令行前面加!
  3. 自带深度学习基础库及库的安装:
    • Colab 自带了Pytorch, Tensorflow、Matplotlib、Numpy、Pandas 等深度学习基础库。
    • 如果还需要其他依赖,如 Keras,可以新建代码块,利用pip安装
  4. 连续使用超过12小时会被限制,使用时中途保存模型文件
  5. 如果虚拟机长时间未检测到你有什么指令和动作,会自动切断连接,一切就得重新来(可查看本文的《4.断连问题解决方法》
  6. 不要心动去充钱升级权限,国内也有很多优秀的云服务(例如AutoDL)

5. 断连问题解决方法

  • 白嫖真是爽——google colab 总是断连解决方法

使用 F12 或者是 Ctrl + Shift + I 键就可以打开,然后选择 Console,键入以下代码 + Enter即可。

function ClickConnect(){
console.log("Working"); 
document.querySelector("colab-toolbar-button#connect").click() 
}
setInterval(ClickConnect,60000)

你可能感兴趣的:(mmdetection,深度学习项目经验tips,pytorch,深度学习,python)