Win10安装CUDA11.4和Torch1.9.0
Win10安装CUDA11.4和Torch1.9.0
- CUDA介绍及安装说明
-
- CUDA介绍
- CUDA安装说明
- 显卡驱动查看及CUDA安装版本号选择
-
- 查看本机显卡驱动
- 查询CUDA支持的显卡驱动版本
- CUDA及cuDNN安装
-
- 官网下载CUDA11.4并安装
- cuDNN下载及安装
- 安装结果验证
- Python机器学习编程环境搭建
-
- Python 3.9.6安装
- Torch安装
- [9.20更新] 较老版本CUDA安装说明
-
- CUDA 9.2及cuDNN 7.6.5的安装
- PyTorch 1.5.1的安装经过
-
- 错误安装Python 3.9版本及无法安装PyTorch
- PyCharm错误安装PyTorch
- Python 3.8.11 & Torch 1.5.1成功安装
CUDA介绍及安装说明
CUDA介绍
CUDA是显卡厂商NVIDIA推出的运算平台，常用于一些图形图像处理技术。当然，安装CUDA的 前提 是有一块NVIDIA的独显。如今人工智能、神经网络方向的大火，更是带动了CUDA在并行计算领域的发展，本文安装CUDA平台主要是用于Python语言基于Pytorch框架编写神经网络模型。
至于详细的CUDA介绍可参考百度百科。
CUDA安装说明
本文详细介绍的是Windows平台下CUDA的安装教程，之前曾在Linux平台(Ubuntu 18.04系统)上安装过，但估计是显卡驱动等相关的原因并未能够正常使用，现在转战Windows平台，凭借Win10兼容性强的特点上手安装会更加容易。
对于那些安装CUDA用于并行计算的朋友，需要特别说明的一点是一定要注意CUDA的版本与编程语言支持的版本是否相同。本文安装CUDA是用于Python语言中Pytorch框架编程，目前全网搜索Pytorch安装教程CUDA11.4&Torch1.9.0应该是最新的版本，也算是我头铁安装的一次经历吧。
显卡驱动查看及CUDA安装版本号选择
查看本机显卡驱动
直接百度搜索查看显卡驱动的很多教程与后续NVIDIA给出的版本号相差较大，真正查看符合的版本号可参考这篇文章
- 注：此步骤一定要严格查询到对应的版本号，否则极有可能造成后续的安装失败！！！
查询CUDA支持的显卡驱动版本
需要安装的CUDA版本必须有支持的显卡驱动，NVIDIA官网公布了CUDA支持的显卡驱动版本号，本文截取在榜的支持驱动如下表所示：
| CUDA Toolkit | Linux x86_64 Driver Version | Windows x86_64 Driver Version |
|---|---|---|
| CUDA 11.4.0 GA | >=470.42.01 | >=471.11 |
| CUDA 11.3.1 Update 1 | >=465.19.01 | >=465.89 |
| CUDA 11.3.0 GA | >=465.19.01 | >=465.89 |
| CUDA 11.2.2 Update 2 | >=460.32.03 | >=461.33 |
| CUDA 11.2.1 Update 1 | >=460.32.03 | >=461.09 |
| CUDA 11.2.0 GA | >=460.27.03 | >=460.82 |
| CUDA 11.1.1 Update 1 | >=455.32 | >=456.81 |
| CUDA 11.1 GA | >=455.23 | >=456.38 |
| CUDA 11.0.3 Update 1 | >=450.51.06 | >=451.82 |
| CUDA 11.0.2 GA | >=450.51.05 | >=451.48 |
| CUDA 11.0.1 RC | >=450.36.06 | >=451.22 |
| CUDA 10.2.89 | >=440.33 | >=441.22 |
| CUDA 10.1 (10.1.105 general release, and updates) | >=418.39 | >=418.96 |
| CUDA 10.0.130 | >=410.48 | >=411.31 |
| CUDA 9.2 (9.2.148 Update 1) | >=396.37 | >=398.26 |
| CUDA 9.2 (9.2.88) | >=396.26 | >=397.44 |
| CUDA 9.1 (9.1.85) | >=390.46 | >=391.29 |
| CUDA 9.0 (9.0.76) | >=384.81 | >=385.54 |
| CUDA 8.0 (8.0.61 GA2) | >=375.26 | >=376.51 |
| CUDA 8.0 (8.0.44) | >=367.48 | >=369.30 |
| CUDA 7.5 (7.5.16) | >=352.31 | >=353.66 |
| CUDA 7.0 (7.0.28) | >=346.46 | >=347.62 |
CUDA及cuDNN安装
官网下载CUDA11.4并安装
首先进入CUDA Toolkit 官网去下载CUDA。本机使用的是Windows 10系统，且系统是64位的，因而在官网上选择对应的安装包并下载（如下图所示）。注意尽量选择local版本，这是安装在本机并使用独显算力的，区别于network在线算力。
11.4版本是目前最新的一个工具包，大小共计2.8G，等待下载方便后续安装。
- 此处额外说明一下，如果当前最新的CUDA版本与你电脑的驱动等不符合，可翻找 previous version 去下载合适的版本
我安装的时候基本都是CUDA默认选项，但网络看其他朋友安装的时候有自定义一些东西，这边给一个借鉴链接。
CUDA安装完成后可以运行cmd，输入nvcc -V查看是否安装成功。
可以看到，电脑的CUDA 11.4安装成功。
cuDNN下载及安装
cuDNN是用于深度神经网络的GPU加速库，在具体编写神经网络程序时会使用到。CUDA与cuDNN的关系可参见这篇文章。
与安装CUDA需选择对应的版本类似，安装cuDNN时也需选择与CUDA对应的版本。
本文给出目前已知CUDA与cuDNN的版本对应关系，具体的安装包及支持情况可查询cuDNN官网。需要特别说明的一点是，cuDNN的下载需登录NVIDIA账户，如若没有可注册一个方便后续安装。
| cuDNN | CUDA |
|---|---|
| v8.2.1 | 11.x, 10.2 |
| v8.2.0 | 11.x, 10.2 |
| v8.1.1 | 11.0, 11.1, 11.2, 10.2 |
| v8.1.0 | 11.0, 11.1,11.2, 10.2 |
| v8.0.5 | 11.1, 11.0, 10.2, 10.1 |
| v8.0.4 | 11.0, 10.2, 10.1 |
| v8.0.3 | 11.0, 10.2, 10.1 |
| v8.0.2 | 11.0, 10.2, 10.1 |
| v8.0.1 RC2 | 11.0, 10.2 |
| v7.6.5 | 10.2, 10.1, 10.0, 9.2, 9.0 |
| v7.6.4 | 10.1, 10.0, 9.2, 9.0 |
| v7.6.3 | 10.1, 10.0, 9.2, 9.0 |
| v7.6.2 | 10.1, 10.0, 9.2, 9.0 |
| v7.6.1 | 10.1, 10.0, 9.2, 9.0 |
| v7.6.0 | 10.1, 10.0, 9.2, 9.0 |
| v7.5.1 | 10.1, 10.0, 9.2, 9.0 |
| v7.5.0 | 10.1, 10.0, 9.2, 9.0 |
| v7.4.2 | 10.0, 9.2, 9.0 |
| v7.4.1 | 10.0, 9.2, 9.0 |
| v7.3.1 | 10.0, 9.2, 9.0 |
| v7.3.0 | 10.0, 9.0 |
| v7.2.1 | 9.2 |
| v7.1.4 | 9.2, 9.0, 8.0 |
| v7.1.3 | 9.1, 9.0, 8.0 |
| v7.1.2 | 9.2, 9.1, 9.0 |
| v7.0.5 | 9.1, 9.0, 8.0 |
| v7.0.4 | 9.0 |
| v6.0 | 8.0, 7.5 |
| v5.1 | 8.0, 7.5 |
| v5 | 8.0, 7.5 |
| v4 | 7.0 and later |
| v3 | 7.0 and later |
| v2 | 6.5 and later |
| v1 | 6.5 R1 |
本文安装时选择的是最新的cuDNN v8.2.1版本，下载完成后需加以解压，然后将文件按对应的要求放至相应文件夹，具体文件夹的转移方法可参考这篇文章。
所需替换的文件夹路径如下：
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4
- 额外说明
有些博客中提到要安装Visual Studio 2019去运行相关的程序，实测不下载安装VS 2019也是可以的。
安装结果验证
win+R 打开 cmd 窗口，输入如下命令跳转至CUDA的安装目录下：
cd C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\extras\demo_suite
然后运行deviceQuery.exe 和 bandwidthTest.exe 来查看GPU的状态，实测的结果如下：
可以看到，运行deviceQuery.exe显示的结果是PASS
同理，bandwidthTest.exe 运行也是通过的。
Python机器学习编程环境搭建
如前文所述，搭建CUDA环境是用于Python编程。我选择的框架是Facebook公司推出的Torch框架，如果选择Google公司的TensorFlow框架，需额外关注对应的编程环境，与本文搭建的情况有所不同。
Python 3.9.6安装
因为是新配的电脑，就直接选择了最新版本的Python环境进行安装。在Python安装上并无什么特别值得说明的，直接从官网下载所需要的版本即可，选择Windows系统版本进行安装。方便不太熟悉的朋友安装Python，这边给出一个安装参考链接。
Torch安装
在Pytorch安装时也是需要注意版本号对应的，这边给出Pytorch的官网，上面会给出安装的版本建议。
本文选择的仍然是最新的Pytorch 1.9.0 stable版本，选择的安装方式是pip安装。
这边列出下图所示pip命令：
pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
当然，pip安装需要网络环境比较稳定，有一定的可能出错，我也是尝试了3-4次才最终安装成功。
[9.20更新] 较老版本CUDA安装说明
前文提及的安装是基于实验室中的台式机安装CUDA的一整套记录，近期在自己的笔记本电脑上也同样安装了一下CUDA。不过我的笔记本电脑购于2017年，用的还是GTX 1050显卡（4G 显存），驱动的话也是出厂原装的驱动398.36。
整个这套配置放到2021年，已经是老掉牙的装备了，所以安装各个版本的时候也是要花费一番功夫的。
CUDA 9.2及cuDNN 7.6.5的安装
根据之前提及的步骤，由本机的驱动去选择对应适配的CUDA版本。398.36的显卡驱动，让我选择了最后能支持该驱动的CUDA 9.2版本（毕竟新版本的CUDA在算力和优化上是有所提升的）。同样的，查找上文给出的表格，选择最后支持CUDA 9.2的cuDNN 7.6.5版本。
当然，安装CUDA和cuDNN的时候并没有遇到什么大的困难，按照前文的步骤一步步操作，最终在cmd窗口可以检验安装是有效的。
PyTorch 1.5.1的安装经过
错误安装Python 3.9版本及无法安装PyTorch
在我自己的笔记本安装Python时，第一反应是选择最新的Python 3.9.7稳定版，一切安装妥当后，便准备开始我的PyTorch安装之路了。由于CUDA版本不高于10.2，在PyTorch官方安装说明首页已经不配拥有一席之地了。我只能在 Previous PyTorch Version 页面寻找我所需要的版本。老样子，我选择的CUDA 9.2所能支持的最高版本torch 1.7.1，具体的pip安装命令如下：
# CUDA 9.2
pip install torch==1.7.1+cu92 torchvision==0.8.2+cu92 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
运行该命令，直接显示：
ERROR: No matching distribution found for torch==1.7.1 cu92
百度一波，发现可能是CUDA版本太低，不支持当前PyTorch版本。那咋办？降PyTorch版本呗。但当我一直降到PyTorch 1.5.1版本时，仍旧无法安装。我心想：这不对啊，网上给出的帖子就是CUDA 9.2和PyTorch 1.5.1安装成功的，这肯定是其他安装方面的原因。
PyCharm错误安装PyTorch
既然在cmd窗口pip安装出错，那我试试其他方法呗。由于我习惯在PyCharm中编写Python代码，所以就尝试了一下能否在PyCharm中成功安装。第一次安装没有选择具体的Torch版本，默认最新版就安装的Pytorch 1.9.0版本，但居然显示安装成功了！！！
我立马尝试能否正常使用显卡算力：
import torch
torch.cuda.is_available()
输出：
False
但想想也正常，毕竟我安装的是最新Pytorch 1.9.0版本，官方都说这个版本不支持CUDA 9.2，这能正常调用有鬼嘞。卸载，重新安装PyTorch 1.7.1版本，结果仍旧是同样的结果。
其实PyCharm中为了Python的适配，只会安装CPU版本的PyTorch，因而无论如何都是无法调用显卡算力的。所以手头有N卡的铁汁，千万不要图方便用PyCharm默认方法的安装PyTorch。
Python 3.8.11 & Torch 1.5.1成功安装
一通分析下来，最终还是版本下载错误的问题。幸好在网上看到了这份帖子：解决could not find a version that satisfies the requirement torch等类似问题。
帖子里面分析的很对，我们使用pip命令最终也是为了下载对应的whl。那在pip无法连接官网的情况下，不如直接去官网下载好whl文件，再直接安装。
这个早期版本的显卡对应的PyTorch需要额外花力气在官网找到对应的支持网址，这边给出一个CUDA 9.2对应的各版本torch和torchvision的链接：https://download.pytorch.org/whl/cu92/torch_stable.html
下载的就是下面这个Win平台支持的PyTorch版本：
这边还是有点小坑的，我额外说明一下。
Windows平台必须使用后缀为 -win_amd64.whl 的文件。吐槽一波，这样式的文件确实少！
当然，还有一点就是这边cp38要求我们本机上的版本使用Python 3.8版本。所以我之前预装的Python 3.9版本自然而然的就废了，只能选择卸载重装。
一切安装妥当后，PyCharm中包管理页面会显示：
其中后缀+cu92说明该版本号是基于CUDA 9.2安装的，再运行上面的算力检测程序就能显示True啦。
- 额外说明
千万不要升级torch和torchvision版本，否则你的显卡算力又会无法使用。