Google Colab及其使用

注意:本文不提供访问外网的方法,默认你已能自由访问外网。

  • Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。
  • Colaboratory 笔记本存储在 Google 云端硬盘中,并且可以共享,就如同您使用 Google 文档或表格一样。Colaboratory 可免费使用,包括它的GPU资源。
  • 利用Colaboratory ,可以方便的使用Keras,TensorFlow,PyTorch,OpenCV等框架进行深度学习应用的开发。
    Google Colab及其使用_第1张图片

点击文件可以上传本地的notebook到Google云盘,然后即可打开运行:

Google Colab及其使用_第2张图片

如果想要上传本地保存的训练数据(如csv文件),点击最左边的上传按钮即可,或者可以直接拖拽上传。注意:此时的文件是临时保存的,程序终止运行会自动删除。

Google Colab及其使用_第3张图片

你也可以直接下载文件:

Google Colab及其使用_第4张图片

如果想要永久保存需要链接到Google云盘:

Google Colab及其使用_第5张图片

点击最右边的按钮会出现右边的那一段程序:

from google.colab import drive
drive.mount('/content/drive')

运行这一段程序后Google会要求你登录Google账户,并且把产生的授权码贴到运行程序下方的输入框中,这样左边的文件栏会多出一个文件夹。

Google Colab及其使用_第6张图片

当文件保存在这个文件夹中,程序终止后不会消失,并且保存在Google Drive的云端。而且如果不小心覆盖了以前的版本,可以在云盘中点击右键的版本管理,即可找回以前的版本。

我们需要用到命令行来操作文件,需要记住以下的指令:

Google Colab及其使用_第7张图片

这些指令前面加上!再在程序框中运行即可,除了cd前面加的是%。

下面要把我们的工作环境移动到云盘里,防止文件丢失:

%cd /content/drive/MyDrive
!mkdir ML2021
%cd ./ML2021

可以用以下指令来确认自己当前所在位置:

!pwd

这个时候我们下载或者上传都是在这个ML2021的文件夹中。

运行前要更改运行所需的硬件为GPU,可以大大加快训练速度。

Google Colab及其使用_第8张图片

Google Colab及其使用_第9张图片

注意:

  1. 挂载只有12个小时,也就是说12小时之后你就需要重现挂载一次,所以就需要我们在进行模型训练的时候记得要加上checkpoint,不然如果训练的模型超过12小时,Google断开挂载会白白浪费12小时。
  2. 每次使用都需要重新配置上次自己安装的环境,默认环境就不用。还有就是CUDA和Cudnn不需要重新配置。一个方法就是独立出一个页面把你要配的环境的代码都写在该页面下,下次打开只需要运行所有单元格就可以再开一个页面来跑需要跑的程序。
  3. 模型在训练的过程中有可能会出现连接中断需要重新连接的情况,不要怕点击重新连接就行,如果经常出现推荐给大家一个脚本神器**按键精灵,**人不在电脑边上只需要F10启动脚本左键点击功能。
  4. 如果电脑自动关机了,或者是自动更新什么的,只要时间不是很长,只需要重启,恢复网页还是可以继续训练的,比较训练是挂载在Google上,但是时间久了也就要重新训练。
  5. 如果是断网了也只需要联网点击重新连接即可,同上如果断网太久也就只能重新训练了。

你可能感兴趣的:(机器学习,经验分享,机器学习,深度学习)