【我参加NVIDIA Sky Hackathon】环境安装
环境安装
一、获取 NGC 秘钥
1.创建 NGC 账号
(1). 登录 https://ngc.nvidia.com
(2). 请点击下图右上角 ”Welcome Guest”，然后点选下方 ”Sing in/Sing Up”
(3). 进入后点选 ”NVIDIA Account” 旁边的”Continue”，就会进入下图右的“登陆” 或“创建一个账户” 的画面，然后按照标准开帐户的流程执行就可以。
2. 获取 NGC 秘钥
登陆 NGC，点选右上角用户名，在下拉菜单中选择 ”setup” 选项，点击 ”Get API Key”，面点击右上角”Generate API KEY” 得到秘钥。（生成的这组密钥在整个训练过程以及最后推理时都需要用到，非常关键。务必保存好）
二、安装 NVIDIA 驱动 460 以上版本
sudo apt-get install software-properties-common
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get install nvidia-driver-460
sudo reboot #重启之后才会生效执行 nvidia-smi 检查驱动是否安装成功
三、安装 docker 与 nvidia-docker2
1.安装docker
sudo apt-get install -y ca-certificates curl gnupg lsb-release
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o/usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/dockerarchive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
#测试安装
sudo docker run hello-world
2. 安装 nvidia-docker2
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
#测试安装
sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi3. 测试是否安装成功
如果出现以下信息，表示 docker 与 nvidia-docker2 都安装完成：
4. 登录 NGC：( 只要登录一次就行 )
sudo docker login -u '$oauthtoken' --password-stdin nvcr.io <<< '申请的密钥 '
四、安装 MiniConda3 与 Jupyter 开发环境
1. 安装 MiniConda
# 用国内清华源
export DL_SITE=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda
# 用原厂的源
export DL_SITE=https://repo.anaconda.com/miniconda（两种方法二选一）
# 下载安装包
wget -c $DL_SITE/Miniconda3-py38_4.10.3-Linux-x86_64.sh
# 执行安装，全部按照预设路径与”yes”选项
bash Miniconda3-py38_4.10.3-Linux-x86_64.sh
# 启动 Conda
source ~/.bashrc2. 安装 Jupyter Lab
pip install jupyter jupyterlab
# 设置登录密码
export PW=’自行提供‘
python3 -c "from notebook.auth.security import set_password;set_password('$PW','$HOME/.jupyter/jupyter_notebook_config.json')"
五、安装 NeMo 1.4.0
1. 安装NeMo
sudo apt-get update && sudo apt-get install -y libsndfile1 ffmpeg
pip install Cython
pip install --user pytest-runner
pip install rosa numpy==1.19.4
pip install torchmetrics==0.6.0
pip install nemo_toolkit[all]==1.4.0
pip install ASR-metrics2. 检测NeMo
python
>>>import nemo
>>>import nemo.collections.asr as nemo_asr
若没有报错表示安装成功（warning 不用理会）
六、安装 TAO 模型训练优化工具：用 Python 与 Virtualenv
pip install virtualenv virtualenvwrapper
# 创建目录用来存放虚拟环境
mkdir $HOME/.virtualenvs
# 在~/.bashrc 中添加行：
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=$HOME/miniconda3/bin/python3
source $HOME/miniconda3/bin/virtualenvwrapper.sh
# 保存并退出
source ~/.bashrc
# 创建名为”tao”的 Virtualenv
mkvirtualenv tao -p $HOME/miniconda3/bin/python安装 TAO 模型训练工具
# 确认在 ”tao” 的 Virtualenv 环境下，如果不在的话就执行以下指令
workon tao
# 安装 nvidia-pyindex 与 nvidia-tao
pip3 install nvidia-pyindex
pip3 install nvidia-tao
# 检查安装
tao info启动 TAO 模型训练工具 Jupyter 交互界面：
# 启动名为 “tao” 的 virtualenv
workon tao
# 进入工作目录并启动 Jupyter Lab
cd ~/hackathon && jupyter lab --ip 0.0.0.0 --port 8888 --allow-root