使用Google Colab运行项目

文章目录

前言

一、注册Google Drive

二、将项目导入到Google Drive中

三、配置Google Colab

四、在Google Colab中挂载Google Drive

五、一些常用的命令

六、上传文件至Google Drive太慢

总结

---

前言

这篇文章是这两天学习使用Google Colab的总结。

一、注册Google Drive

二、将项目导入到Google Drive中

        推荐在最开始将项目导入Google Drive中，而不是新建Google Colab之后通过命令行的方式导入项目。这么做主要是担心虚拟机回收之后会将克隆的项目也回收了，所以就直接将项目传到Google Drive上面了。

三、配置Google Colab

        在笔记本中，点击“修改”——“笔记本设置”——“选择GPU”

 

        连接到Google Colab服务器

四、在Google Colab中挂载Google Drive

        在命令行中输入以下代码

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

        上面这些代码应该是授权和安装一些必要的库。

        之后会需要验证，点击弹出的网址并在后面的命令行中输入验证码即可。

        输入下面的代码，挂载Google Drive

!mkdir -p drive
!google-drive-ocamlfuse drive

        或者点击红色框框出的位置也可以挂载Google Drive

        我已经挂载了Google Drive，所以有一个斜杠。如果你没有挂载，就不会有这个斜杠。

        挂载成功后会出现drive文件夹，Google Drive里面保存的东西都在这个drive文件夹里面。

五、一些常用的命令

        1.查看当前所在的位置

!ls

        2.安装一些需要的包

!pip install -r requirements.txt

        GitHub上面的项目一般都会有requirements.txt这个文档，运行这个代码可以直接装上所需要的包。（但是我看到有一些项目没有requirements.txt这个文档，现在还不知道怎么样处理这个问题，难道手动一个一个安装？请知道的小伙伴私信或者评论区告诉我一下，谢谢！）

        3.克隆GitHub上面的项目

!git clone + 网址

        我没有用这个方法，主要是担心虚拟机回收之后会将克隆的项目也回收了，所以就直接将项目传到Google Drive上面了。

        4.pip安装python包

!pip install + 你想要安装的python包
例如：!pip install numpy

        5.执行py文件

                1）要处理的.py文件很多，在不同文件夹下。那么路径就指定到最大的那个文件夹。

                2）但如果只是要执行某一个特定的.py文件，那么一定要重新确定指定文件的路径是不是该特定.py文件所在的最小文件夹。

                这里我需要执行train.py，那么需要定位到/content/drive/MyDrive/Unet，下面这段代码是用来更换文件夹的。

import os
os.chdir('/content/drive/MyDrive/Unet')
!ls

        最后的!ls查看当前位置，判断是否定位到/content/drive/MyDrive/Unet

        之后再执行train.py文件

! python train.py

六、上传文件至Google Drive太慢

        对于这个问题我没有很好地解决办法，看到有人提到用MultCloud进行OneDrive和Google Drive文件移动会比较快。但是我连将文件上传至OneDrive都需要耗费极大的时间...

        所以我手动将包含数据集在内的项目上传Google Drive。

        如果您找到了办法请在评论区踢我一下！

总结

        这篇文章是我这两天使用Google Colab的总结，是通过阅读SCDN上其他大佬的文章汇聚来的，所以参考了很多大佬的文章。本意是想做备忘录，如果写的有什么问题欢迎评论区指教。