【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学

相关文章:

【一】tensorflow安装、常用python镜像源、tensorflow 深度学习强化学习教学     

【二】tensorflow调试报错、tensorflow 深度学习强化学习教学

【三】tensorboard安装、使用教学以及遇到的问题

【四】超级快速pytorch安装


trick1---实现tensorflow和pytorch迁移环境教学


 1. tensorflow 深度学习

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第1张图片        书本链接:https://download.csdn.net/download/sinat_39620217/16491144

对应码源以及学习资料链接:https://gitee.com/dingding962285595/tensorflow_-rl    欢迎关注一键三连哦!

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第2张图片【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第3张图片   【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第4张图片

2. tensorflow安装

2.1 常用的镜像源

#豆瓣
https://pypi.douban.com/simple
#LFD
https://www.lfd.uci.edu/~gohlke/pythonlibs/
#清华大学
https://pypi.tuna.tsinghua.edu.cn/simple
#中国科技大学
https://mirrors.ustc.edu.cn/pypi/web/simple
#阿里
https://mirrors.aliyun.com/pypi/simple/
#本地安装例子
Twisted‑18.4.0‑cp35‑cp35m‑win_amd64.whl
#//文件名说明 该版本 适用于python 3.5 的windows 64位
#//D:\Twisted‑18.4.0‑cp35‑cp35m‑win_amd64.whl   下载文件的路径
#//安装
pip install  D:\Twisted‑18.4.0‑cp35‑cp35m‑win_amd64.whl

在线安装举例

pip install “ 你需要安装的包” -i https://pypi.douban.com/simple  

2.2 Anaconda安装

具体安装教程可以参考博客-Anaconda安装超简洁教程:https://blog.csdn.net/sinat_39620217/article/details/115861876 

通过安装 Anaconda 软件,可以同时获得 Python 解释器、 包管理和虚拟环境等一系列便捷功能,我们从 https://www.anaconda.com/distribution/#download-section 网址进入 Anaconda 下载页面,选择 Python 最新版本的下载链接即可下载,下载完成后安装即可进入安装程序。

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第5张图片

  • 如图 所示,勾选”Add Anaconda to my PATH environment variable”一项,这样可以通过命令行方式调用 Anaconda 程序
  • 如图所示, 安装程序询问是否连带安装 VS Code 软件,选择 Skip 即可。整个安装流程约持续 4分钟,具体时间需依据计算机性能而定。

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第6张图片

安装完成后,怎么验证 Anaconda 是否安装成功呢?

  • 通过键盘上的 Windows 键+R 键,即可调出运行程序对话框,输入“cmd”并回车即打开 Windows 自带的命令行程序cmd.exe。
  • 或者点击开始菜单,输入“cmd” 也可搜索到 cmd.exe 程序,打开即可。
  • 输入conda list 命令即可查看 Python 环境已安装的库,如果是新安装的 Python 环境,则列出的库都是 Anaconda 自带的软件库。
  • 如果 conda list 能够正常弹出一系列的库列表信息,说明 Anaconda 软件安装成功; 如果 conda 命名不能被识别,则说明安装失败,需要重新安装。
     

2.3 tensorflow-cpu版本安装

  • TensorFlow 和其他的 Python 库一样,使用 Python 包管理工具 pip install 命令即可安装。安装 TensorFlow 时,需要根据电脑是否具有 NVIDIA GPU 显卡来确定是安装性能更强的 GPU 版本还是性能一般的 CPU 版本。
  • 国内使用 pip 命令安装时,可能会出现下载速度缓慢甚至连接断开的情况,需要配置国内的 pip 源,只需要在 pip install 命令后面带上“-i 源地址” 参数即可。 

打开anaconda的命令程序

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第7张图片

然后输入:

conda create -n tf2   #tf2环境名称自定义
conda activate tf2    #激活环境
pip install tensorflow -i https://mirrors.aliyun.com/pypi/simple/

即可安装好最新版本tensorflow。

  • 测试cpu版本的 TensorFlow 是否安装成功,在 cmd 命令行输入 ipython 进入 ipython 交互式终端,输入“import tensorflow as tf”命令,
  • TensorFlow GPU/CPU 版本安装完成后,可以通过“tf.__version__”查看本地安装的 TensorFlow 版本号

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第8张图片

表示安装成功。

或者下面查看方式:

conda activate tf1_cpu
pip show tensorflow

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第9张图片

2.4 tensorflow 更新指令,以及第二种安装方法

2.4.1 tensorflow 更新指令

  • 查看版本
import tensorflow as tf

tf.__version__
  • 查询tensorflow安装路径
tf.__path__
  • 更新升级
pip install --upgrade tensorflow

2.4.2 第二种方法

去镜像网站【网址见上面】下载对应版本的tensorflow:

之后再指定环境下安装即可:先进入tensorflow虚拟环境,再cd到whl文件所在文件目录进行安装,其中:虚拟环境是tf2  ,.whl所在文件夹是\package

(tf2) PS D:\package> pip install tensorflow_gpu-2.2.0-cp36-cp36m-win_amd64.whl

即可,然后再检查一下版本号。

2.5 GPU版本安装

2.5.1 GPU版本对照:

打开自己电脑的invdia控制面板查看可以安装的版本,然后在去找适合自己电脑的tensorflow版本!

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第10张图片       【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第11张图片

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第12张图片  【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第13张图片 【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第14张图片

2.5.2 CUDA安装

目前的深度学习框架大都基于 NVIDIA 的 GPU 显卡进行加速运算,因此需要安装NVIDIA 提供的 GPU 加速库 CUDA 程序。在安装 CUDA 之前,请确认计算机具有支持CUDA 程序的 NVIDIA 显卡设备。
CUDA 的安装分为 CUDA 软件的安装cuDNN 深度神经网络加速库的安装环境变量配置三个步骤,
CUDA 软件安装 打开 CUDA 程序的下载官网: 

这里我们使用 CUDA11.2版本,依次选择 Windows 平台----x86_64 架构----win10 系统----exe(local)本地安装包,再选择 Download 即可下载 CUDA 安装软件。

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第15张图片

下载完成后,打开安装软件。选择“Custom” 选项,点击 NEXT 按钮进入

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第16张图片 【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第17张图片

安装程序选择列表,在这里选择需要安装和取消不需要安装的程序组件:

  • 在 CUDA 节点下,取消”Visual Studio Integration”一项;
  • 在“Driver components”节点下,比对目前计算机已经安装的显卡驱动“Display Driver”的版本号“Current Version”和 CUDA 自带的显卡驱动版本号“New Version”,

如果“Current Version”大于“New Version”,则需要取消“Display Driver”的勾,如果小于或等于,则默认勾选即可,设置完成后即可正常安装。

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第18张图片     【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第19张图片

安装完成后,我们来测试 CUDA 软件是否安装成功。打开 cmd 命令行,输入“nvcc -V”,即可打印当前 CUDA 的版本信息,如图所示。

如果命令无法识别,则说明安装失败。同时我们也可从 CUDA 的安装路径“C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin”下找到“nvcc.exe”程序,

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第20张图片

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第21张图片

2.5.3 cuDNN 神经网络加速库安装

CUDA 并不是针对于神经网络专门的 GPU 加速库,它面向各种需要并行计算的应用设计。如果希望针对于神经网络应用加速,需要额外安装cuDNN 库。需要注意的是, cuDNN 库并不是运行程序,只需要下载解压 cuDNN 文件,并配置 Path 环境变量即可

  • 打开网址 https://developer.nvidia.com/cudnn,选择“Download cuDNN”,由于 NVIDIA公司的规定,下载 cuDNN 需要先登录,因此用户需要登录或创建新用户后才能继续下载。
  • 登录后,进入 cuDNN 下载界面,勾选“I Agree To the Terms of the cuDNN Software License Agreement”,即可弹出 cuDNN 版本下载选项。
  • 选择 CUDA 11.2 匹配的 cuDNN 版本,并点击“cuDNN Library for Windows 10”链接即可下载 cuDNN 文件,需要注意的是cuDNN 本身具有一个版本号,同时它还需要和 CUDA 的版本号匹配上,不能下错不匹配 CUDA 版本号的 cuDNN 文件
【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第22张图片 【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第23张图片

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第24张图片

  • 下载完成 cuDNN 文件后,解压并进入文件夹,我们将名为“cuda”的文件夹重命名为“cudnn765”,并复制此文件夹。进入 CUDA 的安装路径 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2,粘贴“cudnn765”文件夹即可,此处可能会弹出需要管理员权限的对话框,选择继续即可粘贴

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第25张图片

2.5.4 环境变量 Path 配置

上述 cudnn 文件夹的复制即已完成 cuDNN 的安装,但为了让系统能够感知到 cuDNN 文件的位置,我们需要额外配置 Path 环境变量。

  • 打开文件浏览器,在“我的电脑”上右击,选择“属性”,选择“高级系统属性”,选择“环境变量”。
  • 在“系统变量”一栏中选中“Path”环境变量,选择“编辑”,。
  • 选择“新建”,输入 cuDNN 的安装路径“C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\cudnn765\bin”,并通过“向上移动”按钮将这一项上移置顶

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第26张图片【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第27张图片

CUDA 安装完成后,环境变量中应该包含:

  • “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin”、
  • “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\libnvvp”【这两项会自动添加路径的】
  • “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\cudnn765\bin” 【需要自己手动】

具体的路径可能依据实际路径略有出入,确认无误后依次点击确定,关闭所有对话框。

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第28张图片

2.5.5 tensorflow--GPU安装

激活环境:

conda create -n tf2   #tf2环境名称自定义
conda activate tf2    #激活环境

上述命令自动下载 TensorFlow GPU 版本并安装,目前是 TensorFlow 2.4 正式版,

pip install tensorflow-gpu -i https://mirrors.aliyun.com/pypi/simple/

现在我们来测试 GPU 版本的 TensorFlow 是否安装成功。

  • 在 cmd 命令行输入 python 进入 ipython 交互式终端,输入“import tensorflow as tf”命令,如果没有错误产生,

  • 继续输入“tf.test.is_gpu_available()”测试 GPU 是否可用,此命令会打印出一系列以“I”开头的信息(Information),其中包含了可用的 GPU 显卡设备信息,最后会返回“True”或者“False”,代表了 GPU 设备是否可用,
  • 如果为 True,则 TensorFlow GPU版本安装成功;如果为 False,则安装失败,需要再次检测 CUDA、 cuDNN、 环境变量等步骤,或者复制错误,从搜索引擎中寻求帮助
import tensorflow as tf
print(tf.test.is_gpu_available())

 

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第29张图片

# 如果出现:
WARNING:tensorflow:From :2: is_gpu_available (from tensorflow.python.framework.test_util) is deprecated and will be removed in a future version.
Instructions for updating:
Use `tf.config.list_physical_devices('GPU')` instead.
True

说明GPU是可用的,这里的警告是说,这个测试命令即将被抛弃,应该使用tf.config.list_physical_devices(‘GPU’),如下:

import tensorflow as tf
print(tf.config.list_physical_devices('GPU'))
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

遇到错误警告见2.7安装GPU遇到的各类坑总结!

2.5.6 测试GPU效果

import tensorflow as tf
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
print('GPU', tf.test.is_gpu_available())

a = tf.constant(2.0)
b = tf.constant(4.0)
print(a + b)

结果看到下面两个就对了,其余的不用管。

...................
GPU True
...................
tf.Tensor(6.0, shape=(), dtype=float32)

 

  • TensorFlow 在运行时,默认会占用所有 GPU 显存资源,这是非常不友好的行为,尤其是当计算机同时有多个用户或者程序在使用 GPU 资源时,占用所有 GPU 显存资源会使得其他程序无法运行。因此,一般推荐设置 TensorFlow 的显存占用方式为增长式占用模式,即根据实际模型大小申请显存资源, 代码实现如下:
# 设置 GPU 显存使用方式
# 获取 GPU 设备列表
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
try:
# 设置 GPU 为增长式占用
for gpu in gpus:
tf.config.experimental.set_memory_growth(gpu, True)
except RuntimeError as e:
# 打印异常
print(e)

2.6 安装失败GPU的补救方法

  • 如果不能安装 TensorFlow GPU 版本,则可以安装 CPU 版本。 CPU 版本无法利用 GPU加速运算,计算速度相对缓慢,但是作为学习用途所介绍的算法模型一般不大,使用 CPU版本也能勉强应付。
  • 上述手动安装 CUDA 和 cuDNN,配置 Path 环境变量并安装 TensorFlow 的流程是标准的安装方法,虽然步骤繁琐,但是对于理解每个库的功能角色有较大的帮助。实际上可以将手动安装 CUDA 和 cuDNN,配置 Path 环境变量并安装 TensorFlow 这4 大步骤通过两条命令完成
# 创建名为 tf2 的虚拟环境,并根据预设环境名 tensorflow-gpu
# 自动安装 CUDA,cuDNN,TensorFlow GPU 等
conda create -n tf2 tensorflow-gpu
# 激活 tf2 虚拟环境
conda activate tf2

极简版安装方法:使用 Anaconda 发通过极简版安装的 TensorFlow,使用时需要先激活对应的虚拟环境,这一点需要与标准版区分。标准版安装在 Anaconda 的默认环境 base 中,一般不需要手动激活 base 环境。
常用的 Python 库也可以顺带安装,命令如下:

# 使用阿里源安装常用 python 库
pip install ipython numpy matplotlib pillow pandas -i https://mirrors.aliyun.com/pypi/simple/

2.7 安装GPU遇到的各类坑总结

1. NVIDIA安装程序失败(组件全部未安装)------Visual Studio Intergration安装失败

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第30张图片

解决方法:

  • 其中Visual Studio(VS) Intergration无法安装导致的:通过自定义的方式取消Visual Studio Intergration进行安装,然后再重新用CUDA安装程序将Visual Studio Intergration单独装上去。

2. NVIDIA安装程序失败(组件全部未安装)-----------nsight compute安装失败

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第31张图片

解决方法:

  • 错误图忘记保存了,我的做法和第一种一样,通过自定义的方式取消Visual Studio Intergration进行安装,然后再重新用CUDA安装程序,再将Visual Studio Intergration单独装上去。

3.GPU测试tf.test.is_gpu_avaiable()返回false

解决方法:

  • 先确定:CUDA、cuDNN和tensorflow的版本有没有对应一致,查看CUDA的驱动版本,如果版本太低,到Nvidia Experience更新驱动程序,默认安装即可。当然也会出现很多I开头的错误

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第32张图片

去C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin路径下:把缺失的文件重命名,我的是cusolver64_10.dll缺失,将cusolver64_11.dll重命名为cusolver64_10.dll即可

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第33张图片

 

4. gpu版本出现的问题:Not creating XLA devices, tf_xla_enable_xla_devices not set

据说是Tesorflow-gpu 2.4.1,默认情况下,不再注册XLA:CPU和XLA:GPU设备。如果确实需要它们,请可使用,但是此标志最终将在后续发行版中删除。

os.environ['TF_XLA_FLAGS'] = '--tf_xla_enable_xla_devices'

import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'

print(tf.__version__)
a = tf.constant(1.)
b = tf.constant(2.)
print(a+b)
print('GPU:', tf.test.is_gpu_available())

改为:将不会报错了

import tensorflow as tf
import os
os.environ['TF_XLA_FLAGS'] = '--tf_xla_enable_xla_devices'
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
print(tf.__version__)
a = tf.constant(1.)
b = tf.constant(2.)
print(a+b)
print('GPU:', tf.test.is_gpu_available())
Not creating XLA devices, tf_xla_enable_xla_devices not set

5.tensorflow-gpu都显示安装成功,但无法运行程序,以及anaconda文件下创建环境,但文件里为空,装到base里的python环境下,无法修正(pip未装导致的)。

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第34张图片【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第35张图片

出现这个原因是:anaconda里的tf版本太低只有2.3.0没有2.4.1的gpu版本以及没在这个环境安装pip!!!这个是重点

1.可以尝试先更新anaconda,再重新安装tensorflow-gpu

先执行,conda update conda,先把conda更新到最新版
然后输入conda update anaconda,把anaconda更新的新版。
输入conda update --all

觉得太慢就添加镜像源

2.添加国内镜像源

全局代理这个办法,这里不做讲解了,需要使用的朋友可以自己去研究一下。这里说一下添加国内镜像源的方法。

运行Anaconda Prompt
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/


conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
2.设置启动设置好的国内镜像源

conda config --set show_channel_urls yes
3.查看是否添加上了源

conda config --show

如果镜像源失效了,或者想换成其他的源,怎么删除呢?

conda config --remove channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/


conda config --remove channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/

2.安装pip

conda install pip

然去找到anaconda文件夹,并打开该文件目录下的Script文件夹,查看是否有pip.exe文件,并查看是否配置了环境变量

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第36张图片

【一】tensorflow【cpu/gpu】全网最详细安装、亲测安装遇到所有错误总结;常用python镜像源、tensorflow 深度学习强化学习教学_第37张图片没有就添加以下,

3.再重新

pip install tensorflow-gpu -i https://mirrors.aliyun.com/pypi/simple/

再加个镜像源,看看最近新版本的有没有装上。即可

你可能感兴趣的:(tensorflow,#,tensorflow安装,调试bug,语法出错等问题,tensorflow,cuda,cudnn,机器学习,人工智能)