记一次Nvidia Driver、Nividia Container Toolkits的安装过程

背景

需要在配备了Nvidia Geforce RTX 3060的工作站上安装对应的driver。为了在GPU上运行Triton，安装Nv container toolkits

步骤

一、在nv官网上查看适配本机显卡的型号

https://www.nvidia.com/Download/index.aspx?lang=en-us

查询到的Driver信息

下载下来之后直接执行。执行完毕之后在terminal中可运行nvidia-smi查看GPU信息：

二、在Ubuntu上安装Docker和Nv Container Toolkits

Ubuntu20.04本身自带docker，但是因为Ubuntu官方系统里自带的Docker版本不是最新的，为了安装最新版本，我们要从官方Docker库里下载安装

1. Docker安装方式

developer.aliyun.com/article/762674

2. NV Container Toolkits安装方式
   首先介绍一下Container Toolkits的架构

可以看到，只有在宿主机上安装完GPU的Driver和CUDA Driver之后，才在docker上安装Container的Toolkits。具体参考：https://docs.nvidia.com/datac...

最终在Container中运行的结果类似与下图：

三、运行Triton

$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:-py3 tritonserver --model-repository=/models

其中，是你当初拉去triton image时的版本。运行结果类似下图：