【我参加NVIDIA Sky Hackathon】NEMO安装指南

第七届比赛火热进行，总结一下知识图谱nemo部分安装教程

废话不多说

1.首先安装ubuntu系统，版本随意。附上官网地址企业开源和Linux | Ubuntu

2.安装 NVIDIA 驱动 460 以上版本

$sudo apt-get install software-properties-common
$sudo add-apt-repository ppa:graphics-drivers/ppa
$sudo apt-get install nvidia-driver-460 
$sudo reboot # 重启之后才会生效，重启后执行 nvidia-smi 检查驱动

3.安装 docker 与 nvidia-docker

        a.安装 docker

        

$sudo apt-get install -y ca-certificates curl gnupg lsb-release

$curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

$echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

$sudo apt-get update

$sudo apt-get install -y docker-ce docker-ce-cli containerd.io

# 测试安装
$sudo docker run hello-world

        b.安装 nvidia-docker2

        

$curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add 

$distribution=$(. /etc/os-release;echo $ID$VERSION_ID) 

$curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee/etc/apt/sources.list.d/nvidia-docker.list

$sudo apt-get update && sudo apt-get install -y nvidia-docker2

$sudo systemctl restart docker

# 测试安装
$sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi

如果出现以下信息，表示 docker 与 nvidia-docker2 都安装完成：

4.  NGC

        a.获取 NGC 秘钥

        1. 创建 NGC 账号：

        这个帐号与 NVIDIA Developer 账号是独立的，需要单独申请。如果已 经有 NGC 帐号的，请跳过下面申请的流程，直接到第 2 步“创建 NGC 密钥”

        (1) 登录 https://ngc.nvidia.com 会直接出现 CATALOG 画面

        (2) 请点击下图右上角 ”Welcome Guest”，然后点选下方 ”Sing in/Sing Up”

        (3) 进入后点选 ”NVIDIA Account” 旁边的”Continue”，就会进入下图右的“登陆” 或“创建一个账户”的画面，然后按照标准开帐户的流程执行就可以。

        2. 获取 NGC 密钥：

        (1) 登陆 NGC，点选右上角用户名，在下拉菜单中选择 ”setup” 选项

        (2)在下面点击右上角”Generate API KEY”会跳出“确认”，点击”confirm”就可以

        (3) 生成的这组密钥在整个训练过程以及最后推理时都需要用到，非常关键。由于密钥 只有在创建时候能看到内容，日后无法在 NGC 独立查询，请自行复制做好记录。 在 https://docs.nvidia.com/ngc/ngc-overview/index.html 有 NGC 更完整说明。

        3. 登录 NGC：只要登录一次就行        

$ sudo docker login -u '$oauthtoken' --password-stdin nvcr.io <<< '申请的密钥'

5.A34. 安装 MiniConda3 与 Jupyter 开发环境

(1) 安装 MiniConda

# 用国内清华源
$export DL_SITE=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda
# 用原厂的源
$export DL_SITE=https://repo.anaconda.com/miniconda
# 下载安装包

$wget -c $DL_SITE/Miniconda3-py38_4.10.3-Linux-x86_64.sh
# 执行安装，全部按照预设路径与”yes”选项
$bash Miniconda3-py38_4.10.3-Linux-x86_64.sh 
# 启动 Conda 
$source ~/.bashrc

(2) 安装 Jupyter Lab

$pip install jupyter jupyterlab

# 设置登录密码
$export PW=’自行提供‘

$python3 -c "from notebook.auth.security import set_password;
set_password('$PW','$HOME/.jupyter/jupyter_notebook_config.json')"

6.安装 NeMo 1.4.0

（1）安装 Pytorch 通过 pip 安装 GPU 版本 Pytorch 参考链接 https://pytorch.org/get-started/previous-versions/

例如 Pytorch1.12.1 版本则安装指令如下

$ pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-indexurl https://download.pytorch.org/whl/cu113

（2）安装 NeMo：

$sudo apt-get update && sudo apt-get install -y libsndfile1 ffmpeg
$pip install Cython
$pip install --user pytest-runner
$pip install rosa numpy==1.19.4
$pip install torchmetrics==0.6.0
$pip install nemo_toolkit[all]==1.4.0
$pip install ASR-metrics

（3）检测 NeMo

$python
>>>import nemo
>>>import nemo.collections.asr as nemo_asr

若没有报错表示安装成功（warning 不用理会）