理一下CUDA、CUDA toolkit和NVCC

参考：一文讲清楚CUDA、CUDA toolkit、CUDNN、NVCC关系_健0000的博客-CSDN博客_cudatoolkit和cuda有关系吗
理清GPU、CUDA、CUDA Toolkit、cuDNN关系以及下载安装_tomorrow″的博客-CSDN博客_cudatoolkit和cuda,cudnn的关系吗

 关于三者的介绍，上述两篇博客写的很全面，这里再记录一下我自己的理解。

CUDA包括Runtime API与Driver API。

• CUDA Toolkit (nvidia)：Driver API，CUDA完整的工具安装包，包括 CUDA 程序的编译器（NVCC）等，CUDA 程序所对应的各式库文件以及它们的头文件。
• CUDA Toolkit (Pytorch)：Runtime API，CUDA不完整的工具安装包，其主要包含在使用 CUDA 相关的功能时所依赖的动态链接库。不会安装驱动程序。与前者不冲突。
• 二者可以同时存在，但都不能高于显卡驱动版本最高支持CUDA版本

官方给的470.57.02显卡驱动版本最高支持CUDA11.4（向下兼容，对应关系见 Release Notes :: CUDA Toolkit Documentation），所以在终端使用nvidia-smi命令后，显示的是该驱动下最高支持版本的CUDA Version，而不是说该主机装了CUDA11.4。实际上，该主机装的CUDA toolkit(nvidia)版本是10.1，因此，NVCC也是10.1。

驱动最高支持cuda版本 示例主机的驱动和CUDA Version

同一主机下的nvcc和cuda toolkit（nvidia）版本