cuda版本在nvcc -V和nvidia-smi中显示不同

引言

在更换、安装cuda后，nvcc -V(或nvcc --version) 与nvidia-smi中显示的cuda版本不同。系统以哪一个cuda版本为准呢？
（答案：nvcc -V）

cuda版本不同的原因

CUDA有两个主要的API，runtime API(nvcc -V 显示的cuda)和driver API(nivdia-smi中显示的cuda)，两者都有相应的版本(例如8.0、9.0等)。对driver API的必要支持(e.g. libcuda.so on linux)，是由GPU驱动安装程序安装的。对runtime API(e.g. libcudart.so on linux, and also nvcc)的必要支持，是由CUDA工具包安装程序安装的(如cuda toolkit可能也捆绑安装GPU驱动程序，如下图)。

一般情况下，driver API版本与runtime API版本不相同。特别是GPU驱动程序是独立于CUDA工具包(i.e. the CUDA toolkit)下安装的。这样nvidia-smi中的cuda是由NVIDIA GPU 驱动包安装的，而不是由CUDA toolkit安装的。driver API版本的cuda，就与runtime API版本的cuda没有联系了。

因为由CUDA toolkit安装的cuda编译-驱动工具nvcc，总是会报告cuda运行时版本。nvcc不知道系统安装了什么驱动版本，甚至不知道系统是否安装了GPU驱动。

所以，这两个版本不必完全相同，因为它们反映了两种不同的cuda API。而且在大多数情况下，nvidia-smi报告的cuda版本在数值上等于或高于nvcc -V报告的cuda版本。

结论

在linux中，cuda实际使用版本以nvcc -V中的cuda版本为准。例如，如果nvidia-smi显示CUDA 10.2，而nvcc -V显示CUDA 10.1，则实际使用的是CUDA 10.1。

在Windows、docker、Anaconda中，同样适用上述情况。

附录

参考Stack Overflow：
https://stackoverflow.com/questions/53422407/different-cuda-versions-shown-by-nvcc-and-nvidia-smi