我参加NVIDIA Sky Hackathon(系统环境配置)

以下内容是本组成员在参赛流程以及遇到的问题的解决方案,仅供参考。电脑型号为华硕天选3 i5

一、获取NGC密钥

1、

创建NGC账号

(1)、登录 https://ngc.nvidia.com 会直接出现 CATALOG画面,请点击下图右上角 ”Welcome Guest”,然后点选下方 ”Sing in/Sing Up”

我参加NVIDIA Sky Hackathon(系统环境配置)_第1张图片

(2)、“登陆”或“创建一个账户”的画面,然后按照标准开帐户的流程执行就可以。

我参加NVIDIA Sky Hackathon(系统环境配置)_第2张图片

2、

获取NGC密钥

(1)、登陆NGC。在下拉菜单中选择 ”setup” 选项进入下面选项后,点击 ”Get API Key”。

我参加NVIDIA Sky Hackathon(系统环境配置)_第3张图片

(2、)在下面点击右上角”Generate API KEY”会跳出“确认”,点击”confirm”就可以我参加NVIDIA Sky Hackathon(系统环境配置)_第4张图片

 注意:生成的这组密钥在整个训练过程以及最后推理时都需要用到,非常关键,保存在容易找到的地方,我们当时就是到后面忘记密钥保存在哪儿了。

二、下载与安装语音与视觉训练用的脚本(Nemo与TAO)

我参加NVIDIA Sky Hackathon(系统环境配置)_第5张图片

三、安装x86的NVIDIA GPU模型训练与优化环境

系统配置:x86 CPU + NVIDIA GPU + Ubuntu 18.04以上

注意:关于ubuntu的安装,一开始我们的U盘质量太差,存有问题,所以装上18.04后一直黑屏。

关于版本的安装,我们所用电脑是华硕天选3——18.04的版本可能读取不到U盘,会出现如下情况:

我参加NVIDIA Sky Hackathon(系统环境配置)_第6张图片

20.04的问题是装的很顺利,但后续问题很多,当我们试到22.04的时候就很成功了。

四、安装NVIDIA驱动460以上版本

$

$

$

$

sudo apt-get install software-properties-common

sudo add-apt-repository ppa:graphics-drivers/ppa

sudo apt-get install nvidia-driver-460

sudo reboot  # 重启之后才会生效,重启后执行 nvidia-smi 检查驱动

 注意:在这里我们一开始打算装的是515,因为版本太新,所以换成了510。

五、安装 docker与nvidia-docker2​​​​​

我参加NVIDIA Sky Hackathon(系统环境配置)_第7张图片

 出现以上结果,则表示安装完成。

六、登录NGC

我参加NVIDIA Sky Hackathon(系统环境配置)_第8张图片 注意:此时需要上面说到的密钥,不要复制密钥,电脑可能会把你的大写字母改成小写,最好自己一个一个输。

七、安装 MiniConda3

$

$

$

$

$

# 用国内清华源

export DL_SITE=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda

# 用原厂的源

export DL_SITE=https://repo.anaconda.com/miniconda

# 下载安装包

wget  -c  $DL_SITE/Miniconda3-py38_4.10.3-Linux-x86_64.sh 

# 执行安装,全部按照预设路径与”yes”选项

bash Miniconda3-py38_4.10.3-Linux-x86_64.sh

# 启动 Conda

source ~/.bashrc

八、安装 Jupyter Lab

$

$

$

pip install jupyter jupyterlab

# 设置登录密码

export PW=’自行提供‘

python3 -c "from notebook.auth.security import set_password;

set_password('$PW','$HOME/.jupyter/jupyter_notebook_config.json')"

注意:安装Jupyterlab时,# 设置登录密码,export PW=’自行提供’,这个地方要把中文的单引号改成英文单引号。

注意:安装前需要先启动Jupyter的指令.

$

jupyter lab --ip 0.0.0.0 --port 8888 --allow-root

安装NeMo 1.4.0

   (1)、安装Pytorch 

通过pip安装GPU版本Pytorch参考链接Previous PyTorch Versions | PyTorch

Pytorch1.12.1版本则安装指令如下:

$ pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

 (2)、创建conda环境python3.6:

注意:我们之前安装的是python3.8版本,不过到后面训练的时候有点麻烦,所以后来重新配置的时候装的是python3.6

conda create --name yourname python=3.6

  (3)、nemo环境安装

pip换源

pip config set global.index-url Simple Index

nemo安装

sudo apt-get update && sudo apt-get install -y libsndfile1 ffmpeg

pip install Cython

pip install --user pytest-runner

pip install rosa numpy==1.19.4

pip install torchmetrics==0.6.0

pip install nemo_toolkit[all]==1.4.0(输入这条命令时,出现报错,先pip install cmake,直接成功,在执行)

pip install ASR-metrics

检测 Nemo

python

>>>import nemo

>>>import nemo.collections.asr as nemo_asr

>>>import nemo.collections.tts as nemo_tts

若没有报错表示安装成功(waring 不用理会)

安装TAO 模型训练优化工具:用Python与Virtualenv

  1. 安装virtualenv虚拟环境:

$

$

$

$

pip install virtualenv virtualenvwrapper

# 创建目录用来存放虚拟环境

mkdir $HOME/.virtualenvs

# 在~/.bashrc中添加行:

export WORKON_HOME=$HOME/.virtualenvs

export VIRTUALENVWRAPPER_PYTHON=$HOME/miniconda3/bin/python3

source $HOME/miniconda3/bin/virtualenvwrapper.sh

# 保存并退出

source ~/.bashrc

# 创建名为”tao”的 Virtualenv

mkvirtualenv  tao  -p  $HOME/miniconda3/bin/python3

2.安装TAO模型训练工具:

$

$

$

$

# 确认在 ”tao” 的 Virtualenv 环境下,如果不在的话就执行以下指令

workon tao

# 安装nvidia-pyindex与nvidia-tao

pip3 install nvidia-pyindex

pip3 install nvidia-tao

# 检查安装

tao info

3.启动TAO模型训练工具Jupyter交互界面:

$

$

# 启动名为 “tao” 的virtualenv

workon tao

# 进入工作目录并启动 Jupyter Lab

cd ~/hackathon  &&  jupyter lab --ip 0.0.0.0 --port 8888 --allow-root

输入您先前设置的密码就能进去,进入Jupyter Lab之后是以~/hackathon为根目录。

注意:在这步时我们没能打开jupyter,这时候在终端输入:conda activate aotm

再执行。

我参加NVIDIA Sky Hackathon(系统环境配置)_第9张图片

成功打开!

你可能感兴趣的:(python,ubuntu)