配置结果:
Anaconda2019[python3.7.3]+cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0,tensorflow-gpu=2.3.0(tf23虚拟环境,python3.7.3)+pytorch1.81(cu101) + torch-geometric(PYG181虚拟环境,python3.7.13,两个环境及两个环境的python版本不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境)
ref:
- whl库下载地址
- Anaconda清华大学镜像下载
- Anaconda3-2019.07-Windows-x86_64.exe个人保存链接,提取码:1234
- Pycharm2021版专业版下载破解,提取码:1234
- Pycharm2021版专业版下载破解个人总结教程
- cuda下载链接
- cudnn下载链接
- tensorflow版本与cuda,cudnn对应关系
- pytorch安装官方网址
- torch-geometric
- torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库下载地址
- tensorflow 安装GPU版本,CUDA与cuDNN版本对应关系,RTX3050Ti
- Win10安装GPU版本的Tensorflow 2.1
- Could not load dynamic library ‘cublas64_10.dll‘; dlerror: cublas64_10.dll not found
- Could not load dynamic library cublas64_10.dll
- FAILED TO QUERY EVENT :CUDA_ERROR_LAUNCH_FAILED:UNSPECIFIED LAUNCH FAILURE
前言
Anaconda2019[python3.7.3]+cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0,tensorflow-gpu=2.3.0(tf23虚拟环境,python3.7.3)+pytorch1.81(cu101) + torch-geometric(PYG181虚拟环境,python3.7.13,两个环境及两个环境的python版本不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境)
安装Tensorflow-gpu 与 keras的时候,一定先要注意版本的对应,不然很容易出错,在看的时候,建议先看完整篇文章再上手。
零、Anaconda下载安装(个人推荐下载安装Anaconda3-2019.07-Windows-x86_64.exe)
可以从Anaconda清华大学镜像下载寻找对应的版本下载,也可以从下载我已经下载好的百度云里下载:
链接:https://pan.baidu.com/s/11-iU1mLmrHVC-3zP0Uiy7Q 提取码:1234
然后正常安装就好:
接下来最好安装Pycharm,参考如下两个链接:Pycharm2021版专业版下载破解,提取码:1234Pycharm2021版专业版下载破解个人总结教程
一、环境+配置
本机环境
显卡:RTX3070
Windows10专业版
NVIDIA 511.65
网上查到的可行版本(跟本人所使用的有所偏差)
python3.7.3+CUDA10.1+cuDNN7.6.5+tensorflow2.3.0+Keras2.3.0
本人所安装CUDA、CUDNN、tensorflow-gpu、keras 版本
cuda_10.1
cudnn_7.6.5
tensorflow-gpu 2.3.0
keras 2.3.0
即最终本人所用环境为
python3.7.3 + CUDA 10.1 + cuDNN 7.6.5 + tensorflow 2.3.0 + Keras 2.3.0
tensorflow与CUDA、cuDNN关系查询https://tensorflow.google.cn/install/source_windows?hl=en#gpu
CUDA版本选择NVIDIA 与CUDA的版本对应关系
参照表格选择
首先,在桌面【右键】-打开【NVIDIA 控制面板】-选择【帮助】-【系统信息】,再打开的系统信息中选择【组件】,即可看到本机GPU对应支持的CUDA版本:组件3D设置重点NVCUDA64.DDL 后面的产品名称
或者可以在终端输入命令nvidia-smi查看GPU驱动版本
但是这不代表你已经安装的cuda11.6,这只是说明他支持安装到11.6版本的cuda,你装10.1版本的cuda也是支持的
CUDA版本选择NVIDIA 与CUDA的版本对应关系
根据CUDA的版本进行安装,下载压缩包版本
二、安装教程(cuda10.1 + cudnn7.6.5 + tensorflow)
2.1 CUDA 10.1安装
从 cuda下载链接里找到最新的cuda10.1下载下来
双击cuda_10.1_XXX_windows.exe,进入安装程序:
在CUDA中取消勾选Visual Studio Integration,这是VS的插件,容易导致安装失败,我因为用pycharm所以就不勾选了
后面还有三个选项。NVIDIA GeForce Experience 是显卡驱动程序,如果你已经更新了显卡驱动版本,就不用选了,因为每个CUDA版本里面都含显卡驱动程序,如果你每次都选相当于每次更新显卡驱动版本。Other components 是声卡等设备驱动程序,我电脑有装了,不用选,最后一个也是。(大家可自己根据自身情况)
然后选择安装路径,点击安装,本地版的很快,在线版的需要联网下载安装,慢些。
等待安装完毕,可以检查是否安装成功,在终端键入命令nvcc -V,查看CUDA版本,能显示则成功了。
2.2 CUDNN安装
cuDNN下载好后解压,把里面的三个文件夹的内容分别移到CUDA安装目录里对应的同名文件夹里面。其中include和bin文件夹可以直接移动,lib文件夹内容要移动到lib\x64目录下
然后复制到CUDA的安装路径即可,我的是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6(注意!不是覆盖,是添加进去对应的文件夹里面去)
lib 是存在 lib/x64 里面
最后,配置下系统环境即可:
右键【此电脑】又名计算机—【属性】—【高级系统设置】-【环境变量】-下半部分【系统变量】里找到【Path】,双击打开(或者点编辑)
补全如下环境变量,如果你之前安装成功了CUDA,2、3条环境是系统已经自动添加了的。
2.3 在新的虚拟环境里安装tensorflow=2.3.0,tensorflow-gpu=2.3.0
查看环境
conda env list
创建环境(例子为创建一个叫做tf23,python版本3.7.3的环境)
conda create -n tf23 python=3.7.3
删除环境(例子为删除名为tf23的环境)
conda remove -n tf23 --all
激活环境(例子为激活名为tf23的环境)
conda activate tf23
退出环境
conda deactivate
2.4安装tensorflow:
先进入tf23虚拟环境里:
conda activate tf23
再安装tensorflow(2.3.0),tensorflow-gpu(2.3.0)
pip install --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.3.0
pip install --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.3.0
或者:
pip install --user --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.3.0
pip install --user --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.3.0
2.5 常见问题1 Could not load dynamic library ‘cublas64_10.dll‘; dlerror: cublas64_10.dll not found
在使用tensorflow连接本地GPU时报错
2022-02-22 14:57:36.226466: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
2022-02-22 14:57:36.227912: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cublas64_10.dll'; dlerror: cublas64_10.dll not found
2022-02-22 14:57:36.233442: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cufft64_10.dll
2022-02-22 14:57:36.234755: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library curand64_10.dll
2022-02-22 14:57:36.236105: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cusolver64_10.dll'; dlerror: cusolver64_10.dll not found
2022-02-22 14:57:36.237345: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cusparse64_10.dll'; dlerror: cusparse64_10.dll not found
2022-02-22 14:57:36.238582: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cudnn64_7.dll'; dlerror: cudnn64_7.dll not found
2022-02-22 14:57:36.238659: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1598] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
dll文件 + cudnn64_7.dll放网盘了,自取:
链接:https://pan.baidu.com/s/1TFM7pX62Qu5TLANiZHkzrA 提取码:1234
下载好后放在C:\Windows\System32,然后就成功了!
2022-02-22 15:19:01.152638: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
2022-02-22 15:19:01.159782: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cublas64_10.dll
2022-02-22 15:19:01.164852: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cufft64_10.dll
2022-02-22 15:19:01.166054: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library curand64_10.dll
2022-02-22 15:19:01.241219: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cusolver64_10.dll
2022-02-22 15:19:01.242896: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cusparse64_10.dll
2022-02-22 15:19:01.243409: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudnn64_7.dll
2022-02-22 15:19:01.243525: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1703] Adding visible gpu devices: 0
2.6 常见问题2 FAILED TO QUERY EVENT :CUDA_ERROR_LAUNCH_FAILED:UNSPECIFIED LAUNCH FAILURE
服务器上没有资源了,在本地win10下运行程序,报错:
failed to query event :CUDA_ERROR_LAUNCH_FAILED:unspecified launch failure
查了一下,这种错误代码没问题,问题出在windows,是运行时间过长,可以再运行几次试试,如果还报同样的错误可以参考博客解决办法:window登录管理员用户,打开NSIGHT ,设置option的Microsoft display driver 的WDDM TDR enable为False即可,因为该选项导致kernel运行时间超过指定值会中断。
三、pytoch + torch-geometric 安装教程
3.1创建虚拟环境
查看环境
conda env list
创建环境(例子为创建一个叫做PYG181,python版本3.7.13的环境)
conda create -n PYG181 python=3.7.13
删除环境(例子为删除名为PYG181的环境)
conda remove -n PYG181 --all
激活环境(例子为激活名为PYG181的环境)
conda activate PYG181
退出环境
conda deactivate
3.2安装pytorch:
先进入PYG181虚拟环境里:
conda activate PYG181
再安装pytorch(1.8.1)
# CUDA 10.1
pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
至此如果不搞图神经网络,就不需要进行3.3的安装,就已经实现了tensorflow-gpu和pytorch-gpu的安装配置了
3.3 安装torch-geometric(依赖于pytorch的一个图神经网络库)
首先下载torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库.
可以从torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库下载地址自己找相应的下载
也可以从下面本人已经下载好的链接里提取
链接:https://pan.baidu.com/s/1DFyLYuOYBfpswlpbYodg2g 提取码:1234
总之下载好四个.whl文件(假如我的下载文件位置在C:\Users\chuqianyu\Desktop\torch_geometric)后。通过anaconda终端进入桌面(cd 加文件夹路径):
cd C:\Users\chuqianyu\Desktop\torch_geometric
然后通过 pip install 来安装对应的whl库,如我要安装aiohttp-3.8.1-cp37-cp37m-win_amd64.whl这个whl库,我事先已经放到了C:\Users\chuqianyu\Desktop\torch_geometric文件夹里了:
pip install aiohttp-3.8.1-cp37-cp37m-win_amd64.whl
上面都是练手基本操作,下面开始正式安装torch-geometric,一定要严格按顺序执行下面的每一行安装代码才行
也可以参考torch-geometric首页的3,4步骤
pip install torch_scatter-2.0.7-cp37-cp37m-win_amd64.whl
pip install torch_sparse-0.6.9-cp37-cp37m-win_amd64.whl
pip install torch-geometric
pip install torch_cluster-1.5.9-cp37-cp37m-win_amd64.whl
pip install torch_spline_conv-1.2.1-cp37-cp37m-win_amd64.whl
执行上面语句的前提是你已经进入了下载好的四个库所在的文件夹,对于我的电脑,文件夹就是C:\Users\chuqianyu\Desktop\torch_geometric
通过在anaconda终端输入cd C:\Users\chuqianyu\Desktop\torch_geometric进入文件夹,再执行上面5条命令安装torch-geometric
至此就完成了所有的安装
Anaconda2019[python3.7.3]+cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0,tensorflow-gpu=2.3.0(tf23虚拟环境,python3.7.3)+pytorch1.81(cu101) + torch-geometric(PYG181虚拟环境,python3.7.13,两个环境及两个环境的python不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境)
转载请注明出处