我参加 NVIDIA Sky Hackathon---环境配置篇

一、获取 NGC 密钥（务必保管好密钥，后续会使用到）
<一>创建 NGC 账号
1. 登录 NCG官网会直接出现 CATALOG 画面

2. 请点击下图右上角 ”Welcome Guest”，然后点选下方 ”Sing in/Sing Up”

图1

 

3. 进入后点选 ”NVIDIA Account” 旁边的”Continue”，就会进入下图右的 “登陆” 或 “创建一个账户” 的画面，然后按照标准开帐户的流程执行就可以。

 

<二>获取 NGC 密钥： 
1. 登陆 NGC，点选右上角用户名，在下拉菜单中选择 ”setup” 选

 2. 进入下面选项后，点击 ”Get API Key”

 

 3. 在下面点击右上角”Generate API KEY” 会跳出 “确认”，点击”confirm” 就可以

 

4. 生成的这组密钥在整个训练过程以及最后推理时都需要用到，非常关键。由于密钥只有在创建时候能看到内容，日后无法在 NGC 独立查询，请自行复制做好记录。

 二、安装 NVIDIA 驱动 460 以上版本

$sudo apt-get install software-properties-common
$sudo add-apt-repository ppa:graphics-drivers/ppa
$sudo apt-get install nvidia-driver-460 
$sudo reboot  
# 重启之后才会生效，重启后执行 nvidia-smi 检查驱动

三、安装 docker 与 nvidia-docker2
①安装 docker

sudo apt-get install -y ca-certificates curl gnupg lsb-release
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu
(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
#测试安装
systemctl start docker         #docker启动
sudo docker run hello-world    #检验docker运作

② 安装 nvidia-docker2

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - 
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) 
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
# 测试安装
sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi

如果出现以下信息，则表示 docker 与 nvidia-docker2 都安装完成：

③登录 NGC：只要登录一次就行

sudo docker login -u '$oauthtoken' --password-stdin nvcr.io <<< '申请的密钥'

登录成功会显示 Login Succeeded。

四、conda&jupyter环境安装

新手建议安装miniconda，老手可以自行安装anaconda。

①miniconda安装

# 用国内清华源
$export DL_SITE=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda
# 用原厂的源
$export DL_SITE=https://repo.anaconda.com/miniconda
# 下载安装包
$wget  -c  $DL_SITE/Miniconda3-py38_4.10.3-Linux-x86_64.sh 
# 执行安装，全部按照预设路径与”yes”选项
$bash Miniconda3-py38_4.10.3-Linux-x86_64.sh 
# 启动 Conda 
$source ~/.bashrc

②jupyter lab安装

#安装jupyter
$pip install jupyter jupyterlab
# 设置登录密码,注意=后面即为密码
$export PW='自行提供'
$python3 -c "from notebook.auth.security import set_password;
set_password('$PW','$HOME/.jupyter/jupyter_notebook_config.json')"

四、安装 NeMo 1.4.0

①pytorch安装

tip：建议pip安装，不要用conda。conda安装，你的镜像可能有问题。

当初我是按照腾讯云社区教程操作的，但返回值一直是false（CPU版本），而不是true（GPU版本），百思不得其解，后面删除按照别的conda安装教程，返回值也是false……

史上最成功安装 Pytorch 快速方法https://cloud.tencent.com/developer/article/1837355

Pytorch1.12.1版本则安装指令如下：
$ pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

②安装 NeMo（pip安装）

sudo apt-get update && sudo apt-get install -y libsndfile1 ffmpeg
pip install Cython
pip install --user pytest-runner
pip install rosa numpy==1.19.4
pip install torchmetrics==0.6.0
pip install nemo_toolkit[all]==1.4.0
pip install ASR-metrics

 ③ 检测 NeMo

$python    #进入python编程环境
>>>import nemo
>>>import nemo.collections.asr  as  nemo_asr
若没有报错表示安装成功（warning 不用理会）。

遇到的坑：

 import nemo.collections.asr  as  nemo_asr 

执行上述命令反馈报错

解决方法：pip 库 numba0.55.1 对应的 llvmlite 是 0.38，把 numba 换成 0.53.1 之后，llvmlite 自动也换成 0.36 了，问题解决。

五、下载比赛文件，启动 jupyter lab
1. 文件截图

2. 启动 jupyter lab

jupyter lab --ip 0.0.0.0 --port 8888 --allow-root

在浏览器导航栏输入网址进入jupyter lab.