Colaboratory 入门

第一次使用时,需要在谷歌云安装以下:

Colaboratory 入门_第1张图片

 

Colaboratory 入门_第2张图片

 

进入文件夹

Colaboratory 入门_第3张图片

进入colab需要开代理

Colaboratory 入门_第4张图片

 

 

Colaboratory 入门_第5张图片

 

---------------------------------------------------------------------------------------------------------------

使用拥有 gpu 的运行环境

 

Colaboratory 入门_第6张图片

 

Colaboratory 入门_第7张图片

 

Colaboratory 入门_第8张图片

tensorflow 和 tensorflow-gpu版本要一致(1.x),其次cuda版本也要和tf版本相符,才能使用GPU。

 

tensorflow2.x能自动调用gpu

Colaboratory 入门_第9张图片

 

---------------------------------------------------------------------------------------------------------------

简介:

支持 可执行代码、富文本以及图像、HTML、LaTeX

 

TensorFlow 2.1 之后支持TPU

---------------------------------------------------------------------------------------------------------------

 

在google drive ,千万不要 ctrl+A ,会卡死,网页需要刷新

 

-------------------------------------------------------------------------------------------------------------

为了避免谷歌云盘和colab 之间的 I/O 速度的限制,尽量把训练所需要的文件都上传或下载到 colab的虚拟空间,然后每隔X轮的训练之后将模型文件和损失函数表格保存到谷歌云盘中。

 

-------------------------------------------------------------------------------------------------------------

刚开始使用时,分配的GPU是Tesla T4,已经能胜任很多任务了,但是如果经常用它挂机运算,能分配到的显卡配置就会降低。超过一定的运行时间后,就需要等几个小时后才能用,我为了训练能稳定些,就买了colab pro。

---------------------------------------------------------------------------------------------------------------

 

如果显示连接状态是忙碌的话,需要终止运行中的单元格后重连,避免过一会colab回收虚拟空间。

 

---------------------------------------------------------------------------------------------------------------

清除输出,或全屏查看。

 

Colaboratory 入门_第10张图片

---------------------------------------------------------------------------------------------------------------

 

  • 运行linux命令需要在命令前加上 “!”

 

查看分配的cpu信息

  • !cat /proc/cpuinfo

查看分配的内存信息

  • !cat /proc/meminfo

 

指定包的版本

  • !pip install keras==2.1.5

--------------------------------------------------------------------------------------------------------------

命令行的结果可以赋值给变量

Colaboratory 入门_第11张图片

 

--------------------------------------------------------------------------------------------------------------

 

查看CUDA版本

!cat /usr/local/cuda/version.txt

--------------------------------------------------------------------------------------------------------------

查看GPU信息

!nvidia-smi

--------------------------------------------------------------------------------------------------------------

指定训练使用的gpu

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

--------------------------------------------------------------------------------------------------------------

检查gpu是否能被tensorflow调用

tf.test.is_gpu_available()

--------------------------------------------------------------------------------------------------------------

挂载谷歌云盘

from google.colab import drive
drive.mount('/content/drive')

--------------------------------------------------------------------------------------------------------------

切换当前的目录(这个很重要,有时候导入外部包出错是因为当前目录不对)

%cd "faceswap-GAN" 

--------------------------------------------------------------------------------------------------------------

创建目录

!mkdir -p ./faceA/rgb

--------------------------------------------------------------------------------------------------------------

删除目录

!rm -rf ./faceA/rgb

--------------------------------------------------------------------------------------------------------------

复制谷歌云盘里的文件到colab虚拟硬盘(空格需要转义)

!cp -r /content/drive/My\ Drive/GAN/faceA/rgb/. ./faceA/rgb

---------------------------------------------------------------------------------------------------------------

可以将模型保存在云端硬盘 Google Drive

Colaboratory 入门_第12张图片

会出现这段代码,点运行

点开链接获取代码

Colaboratory 入门_第13张图片

 

Colaboratory 入门_第14张图片

可以在 /content/drive/My Drive 下面看到云盘里的文件,能读写。(可以直接拖拽文件进行剪切)

路径取决于你在 drive.mount(' ') 里面写的

Colaboratory 入门_第15张图片

 

 

将模型的保存路径设置为云盘的路径,这样当 Colab 断了时,我们可以从云端硬盘读取保存的模型,并继续训练。

 

示例(空行需要转义符):

!cp -r ./models/. /content/drive/My\ Drive/GAN/group1/models

-----------------------------------------------------------------------------------------------------------------------

 

 

你可能感兴趣的:(人工智能)