基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)

基于Python(Tensorflow和Pytorch)的深度学习开发环境搭建

  • 前言
  • 一、搭建的主要思路
  • 二、硬件配置环境检查
    • 1.CPU检查
    • 2.GPU检查
  • 三、确定TensorFlow版本和主要软件的版本号
  • 四、下载TensorFlow以及Pytorch
    • 1.TensorFlow下载
    • 2.Pytorch下载
  • 五、安装python
  • 六、安装和配置CUDA
    • 1.下载CUDA
    • 2.安装CUDA
    • 3.配置CUDA环境变量
    • 4.安装CUDNN
  • 七、安装Anaconda
    • 1.下载Anaconda
    • 2.安装Anaconda
  • 八、安装Pycharm
  • 九、搭建TensorFlow环境
  • 十、Pytorch环境搭建
  • 十一.会出现的问题和总结
    • 1.安装多CUDA的问题
    • 2.关于Tensorflow报错和警告
    • 3.在Pycharm中添加通过Anacond命令窗口创建的开发环境
    • 4.在Anacond中删除已经创建的开发环境


前言

Python开发环境搭建本就是一个繁琐且头疼的事情,然而目前所有可以搜到的深度学些开发环境搭建都是单一环境搭建,并且搭建顺序虽然合适但是并没有明确各个版本和CUDA支持系列,导致后面又要重新从头再来。这里主要讲本地安装方式,不使用在线安装,因为目前我找到的镜像源在安装中都会出现断流现象,导致安装失败。


一、搭建的主要思路

搭建的主要内容:Python、Anaconda、CUDA、CUDNN、TensorFlow、Pytorch
我搭建的主要思路是:
1.先检查自己的硬件配置是否符合要求
2.因为Tensorflow的硬件支持需求过低,所以,先要确定Tensorflow的版本从而确定Python的版本、CUDA的版本、CUDNN的版本。
3.根据已经确定的Python版本和CUDA版本来确定Pytorch版本。
4.根据以上内容列出清单,确定安装顺序
5.根据安装顺序进行安装

二、硬件配置环境检查

硬件要求
从 TensorFlow 1.6 开始,二进制文件使用 AVX 指令,这些指令可能无法在旧版 CPU 上运行。
阅读 GPU 支持指南,以在 Ubuntu 或 Windows 上设置支持 CUDA® 的 GPU 卡。

1.CPU检查

CPU需要支持AVX指令集,因为从TensorFlow 1.6版本开始,不能在不支持AUX指令集的CPU上运行。

2.GPU检查

Win+R调出cmd命令窗口行输入nvidia-smi ,获取GPU相关信息(红圈内即为支持的最大CUDA版本号,我的为11.6,它是可以向下兼容的,最大不能超过这个版本)
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第1张图片

三、确定TensorFlow版本和主要软件的版本号

这是TensorFlow官方提供的CPU和GPU对应的Python和CUDA版本表:GPU、CPU版本对照表
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第2张图片
这里,我要安装的是TensorFlow2.5,对应的CUDA版本为11.2,小于我的GPU所支持的最大版本号,CUDNN版本为8.1,Python版本为3.6~3.9之间。

四、下载TensorFlow以及Pytorch

因为这两个的包都比较大,并且下载速度用迅雷也不是很乐观,所以需要提前开始下载,然后再进行后面的过程。

1.TensorFlow下载

Tensorflow的下载链接是这样的:
https://pypi.org/project/tensorflow/2.5.0/#files *这是CPU版本
https://pypi.org/project/tensorflow-gpu/2.5.0/#files *这是GPU版本
需要下载那个版本,就将链接中的数字(2.5.0)改成需要下载的版本号 (如:2.6.0)然后粘贴到浏览器地址栏中回车。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第3张图片

往下翻,找到Windows版本,然后,找到对应的Python版本,这里我选的是Python3.9,直接点击,即可下载
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第4张图片

2.Pytorch下载

首先,和Tensorflow一样,先上版本对照表:Pytorch版本对照表 确定我们要下载的Pytorch版本号
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第5张图片
然后在这个镜像源链接:Pytorch镜像源链接
一共需要找到两个文件,一个是”torch“, 一个是”torchvision" 两个文件版本信息等要完全对应和一致。确定好后,直接点击,即可下载
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第6张图片基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第7张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第8张图片

五、安装python

1.首先进入Python官网,点击:Python官网
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第9张图片
2.点击Windows
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第10张图片
3.找到你需要的安装版本,然后根据图片中的提示,点击后面蓝色字体可直接下载。(注意操作系统位数是32位还是64位)迅雷下载比较快一点。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第11张图片
4.双击直接运行
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第12张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第13张图片

六、安装和配置CUDA

1.下载CUDA

要用GPU运行就必须配置CUDA,上官网:CUDA下载官网
注意:这里要点击黑色日期前面的“CUDA TOOKit 11.2.0”绿色字才会跳转到下载页面,点击后面的绿色字会跳转到版本说明。

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第14张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第15张图片

2.安装CUDA

双击运行,(这个路径不建议更改,直接 ok 就行)
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第16张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第17张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第18张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第19张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第20张图片
等待就行。
安装好之后,我们Win+R,cmd 运行:“nvcc -V”

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第21张图片
如果出现 命令无法识别,则安装失败。需要重新安装。

3.配置CUDA环境变量

桌面上:此电脑(我的电脑)>右键 :属性 > 高级系统设置 (因为我的是windows11,版本不同,前面这些操作界面也不同,请自行根据自己的操作系统来)
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第22张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第23张图片
红框中的都是需要自己新建的内容。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第24张图片
图片中蓝色文字叙述的内容中,最后说的路径,如果你选择的版本在第二位点后面还有数字,一定要精确到最后一位数字,如:11.2.1
然后依然是这个系统变量框里面,往下翻,找到 Path ,然后点”编辑“
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第25张图片
在系统变量 PATH 的末尾添加:
%CUDA_LIB_PATH%
%CUDA_BIN_PATH%
%CUDA_SDK_LIB_PATH%
%CUDA_SDK_BIN_PATH%
再添加如下4条(默认安装路径):
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\lib\x64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\bin
C:\ProgramData\NVIDIA Corporation\CUDA Samples\v8.0\common\lib\x64
C:\ProgramData\NVIDIA Corporation\CUDA Samples\v8.0\bin\win64
最后记得点 确定

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第26张图片
验证是否成功: Win+R启动cmd,然后先用cd命令,跳转到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\demo_suite
在这里插入图片描述
再验证两个命令:bandwidthTest.exe和deviceQuery.exe
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第27张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第28张图片
注意:两个程序验证都要为 PASS

4.安装CUDNN

CUDNN官网下载连接:CUDNN官网下载连接
如果你是第一次下载CUDNN,需要你注册一个账号,然后填写问卷之后才可会进入下载页面,根据指示一步步操作即可。

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第29张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第30张图片
这个文件下载下来是一个压缩包,将CUDNN压缩包里面的bin、clude、lib文件直接复制到CUDA的安装目录下,覆盖安装即可。(中间可能需要管理员权限,选择使用管理员权限 ”继续“)
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第31张图片

七、安装Anaconda

1.下载Anaconda

点击这个官网下载即可转到官网进行下载
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第32张图片
直接下载即可。(文件比较大,迅雷下载速度会快一点)

2.安装Anaconda

1.直接双击运行
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第33张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第34张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第35张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第36张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第37张图片
后面的全部Next即可,最后一步点Finish,即可完成安装。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第38张图片

八、安装Pycharm

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第39张图片这里先点开第一个 Anaconda Navigator 应用程序,可能提示你需要更新,跟着他的提示走就行,最后更新完,会自动重启应用,耗时较长耐心等待一下即可。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第40张图片
直接点击下载即可
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第41张图片
双击直接运行。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第42张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第43张图片
全部勾选即可,不然自己配置很麻烦。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第44张图片
直接点安装即可:
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第45张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第46张图片

然后双击桌面 图标运行,进去会有一个对话框,我没有截到屏,记得选:“Do not import settings”,然后 OK 就行。进去之后需要填写注册码。由于Pycharm是收费的,这里放一个提供免费码的网站,需要关注一个微信公众号即可。IntelliJ IDEA 注册码
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第47张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第48张图片基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第49张图片

九、搭建TensorFlow环境

依然是这张图片,下面我们双击第二个红框 “Anaconda Prompt(anaconda3)"
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第50张图片
出现这样一个命令行窗口
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第51张图片
输入:“conda create -n tf-gpu-cuda8 python=3.9.12” 命令来创建一个python开发环境,环境名称为:“tf-gpu-cuda8” (这个名字可以设置任意英文名,只要好记就行),使用python版本为:“3.9.12”(这里为前面安装的python版本)。等待一会,需要输入 y 。
(命令格式:conda create -n 要创建的环境名 python=环境需要的Python版本号)

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第52张图片
成功会跳出这个界面:
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第53张图片
然后继续输入“activate tf-gpu-cuda8”命令,切换到“tf-gpu-cuda8”开发环境。
(命令格式:activate 已经创建的环境名)

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第54张图片
首先使用“cd …”命令,退到磁盘根目录,如下:
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第55张图片
然后输入存放下载的Tensorflow的根目录,
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第56张图片
再使用 cd命令,添加二级、三级等等的目录。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第57张图片
最后,使用“pip install tensorflow_gpu-2.5.0-cp39-cp39-win_amd64.whl”进行安装即可。
(命令格式:pip install 需要安装的文件全名,包括后缀)

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第58张图片

稍等一会安装完毕(又忘了截屏),使用以下命令进行测试(每行依照次序输入并运行)
python
import tensorflow as tf
tf.compat.v1.disable_eager_execution()
hello = tf.constant(‘hello’)
sess = tf.compat.v1.Session()
print(sess.run(hello))

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第59张图片
最后输出结果:b’hello’ 则表示安装成功

十、Pytorch环境搭建

Pytorch环境搭建前面的操作和Tensorflow一样,只是最后有两个文件,需要先安装torchvision,再安装torch,命令依然是“pip install”,转入文件存放路径的过程依然和Tensorflow一样,此处不再赘述。
首先使用“pip install torchvision-0.13.0+cu116-cp310-cp310-win_amd64.whl” 安装torchvision,
等待安装完毕,
再次使用命令“pip install torch-1.12.0+cu116-cp310-cp310-win_amd64.whl”安装torch,
等待安装完毕,即可完成安装。
测试命令:
python
import torch
torch.cuda.is_available()
返回 True 则表示安装成功。

十一.会出现的问题和总结

1.安装多CUDA的问题

安装多CUDA以支持不同版本的Tensorflow和Pytorch,需要注意以下几点:
1.先从最低版本安装,然后逐次往上升高版本安装。不然当已经安装最高版本时,会在(CUDA安装,第二张截图,系统检查中)提示你无法安装。
2.安装的新CUDA同样需要单独设置相关的环境变量
3.程序会自动调用匹配的CUDA版本,互不影响。

2.关于Tensorflow报错和警告

如下图红框中的内容,我查了很多博客和资料,得出的结论是,这是属于二级(级别1 提示,级别2 警告,级别3 错误)及以下的消息,可以通过两条语句进行屏蔽。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第60张图片
具体解决方法如下:
在程序开头:
import os
os.environ[‘TF_CPP_MIN_LOG_LEVEL’] = ‘2’ # 不显示等级2以下的提示信息

基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第61张图片
但是,不建议屏蔽,因为在有些情况下,会妨碍输出,导致最后没有输出结果。

3.在Pycharm中添加通过Anacond命令窗口创建的开发环境

1.点击File
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第62张图片
2.点击 Settings…
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第63张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第64张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第65张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第66张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第67张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第68张图片

4.在Anacond中删除已经创建的开发环境

1.打开
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第69张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第70张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第71张图片
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第72张图片
等待一下。
基于Python(Tensorflow2.X和Pytorch)的深度学习开发环境搭建(详细步骤和思路)_第73张图片
成功删除。

安装过程中可能出现各种问题,欢迎大家留言讨论。文中不当之处,还望各位老师,批评指正。

你可能感兴趣的:(tensorflow,深度学习,python,pytorch)