使用GPU训练TensorFlow 安装要点

1、步骤可以参考这篇文章：https://blog.csdn.net/haishiluoshen/article/details/83413568

其中包含了所需的软件和地址（但可能与我的电脑并不相配，我的GTX1050TI的）

Python：这里使用的Python3.6，Anaconda包括了Python和一些相对应的库，非常方便使用，所以这里使用的是相对应的版本为Anaconda3 5.1 WIN10 X64的。https://www.anaconda.com/distribution/#download-section
CUDA：这里使用的为 cuda_9.0.176_win10 。
CuDNN：要与CUDA版本相符合 这里使用的是 cudnn-9.0-windows10-x64-v7.3.1.20。可以到该网址https://developer.nvidia.com/cudnn 下载，但是必须注册登录。解压后，把里面文件拷贝到CUDA指定目录下。
VS2015：安装2015版本的更新和C++组件就行。
下载地址合集（百度云）：链接：https://pan.baidu.com/s/120u83dy-eNrfxJM0qxTSfw
提取码：myzb。

2、如果需要使用命令提示符，在win10下最好使用管理员权限打开

3、需要使用pip install tensorflow-gpu 安装gpu版本的TensorFlow。但是直接在命令行中运行该命令会无法成功安装，所以可以直接在Anaconda Prompt或cmd中使用conda install tensorflow-gpu命令安装。参考这篇文章 https://www.cnblogs.com/wanyu416/p/9536853.html

原来是cudnn的版本太旧了，不适合tensorflow1.13

4、注意在命令行中要使用conda activate tensorflow-gpu 命令进入GPU环境，才可以使用tensorflow-gpu，然后在命令行下运行相应的python文件即可。

5、问题解决：

（1）win10下安装gpu版的tensorflow一直出错，在将cuda和cudnn安装好之后，引用tensorflow总是提示:No module named ‘_pywrap_tensorflow_internal’。 
解决方法: 使用cudnn v6.0即可，而且cudnn v6.0解压文件中cudnn64_6.dll不需要改名即可.注意cudnn64_7.dll是不行的，不知道为啥（我是没碰上）

（2）安装完成后，在 tensorflow-gpu模式下运行训练文件出现：UnknownError (see above for traceback): Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above. 原来是cudnn的版本太旧了，需重新下载

 （3）开始使用CUDA9.0 安装,tensorflow-gpu是从anaconda3中安装的，然后出现如下问题：Status: CUDA driver version is insufficient for CUDA runtime version，应该是CUDA里面的驱动版本不对，最后是安装了CUDA10.1就解决了

我主要是看了这些文章，总结了关键步骤：

1、注意需安装python是3.6（不能是3.7，可能不支持），而且是事先就装好，并配置好环境变量的。在安装anaconda时只要选择默认的python环境即可（anaconda3也可以安装一套python，如果事先装好就不必重复安装）

2、CUDA10.1：安装了cuda_10.1.105_418.96_win10.exe，此安装包里面包含的内容是很全的，包含了英伟达显卡驱动。

安装cudnn：需要去下载CUDA10.1对应的cudnn-10.1-windows10-x64-v7.5.0.56.zip，并且复制到指定目录下。

3、安装了Anaconda3-2018.12-Windows-x86_64.exe。

安装完以后，打开Anaconda Prompt，输入清华的仓库镜像，更新包更快

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
 

配置python36的tensorflow-gpu环境： conda create -n tensorflow_gpu pip python=3.6

激活环境：conda activate tensorflow_gpu  （在命令行中也可以激活）

安装 tensorflow-gpu：conda install tensorflow-gpu

注意：

在conda中安装的包，只在conda环境中有效。如果cmd中python直接使用了conda的环境，那么运行相应的python文件必须通过cmd运行，如果需要使用gpu运行训练的，那么需要使用conda命令激活gpu环境。（直接使用PYTHON IDLE运行可能会找不到对应模块）

如果无需调用GPU进行训练，则可以在初始的cmd用python命令运行代码；但是必须在该cmd下安装好运行所需的程序包，比如tensorflow普通版本，numpy等。

4、注意在Anaconda3中安装的程序包或者环境，只限于在Anaconda3中使用。Anaconda3主要命令：

conda info -e ：查看目前所配置的环境

conda activate 环境名  ：进入某个环境

conda create --name your_env_name python=3.5 ：创建py35环境

详细可看该文章：https://blog.csdn.net/menc15/article/details/71477949

训练时，可以看到显卡正在工作，而CPU占用率没有增加。速度至少提高10倍以上，真爽！

以下文章也包含一些主要流程，但是所用的软件版本可能不同

https://www.jianshu.com/p/b48d6bad9aaf。

一.安装Anaconda3

1.从anaconda官方下载并安装ananda3

2.选择64位的图形安装程序，然后随着安装向导进行安装。

 

 

 

注意：建议不要将Anaconda添加到PATH环境变量中，因为这会干扰其他软件（营造一个相对独立的环境）。而要使用Anaconda软件时，应从“开始”菜单打开“Anaconda导航器”或“Anaconda提示”。

安装完以后，打开Anaconda Prompt，输入清华的仓库镜像，更新包更快：

 

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

若出现之后出现‘HTTP 000’ 。。的网络连接错误可以参考：https://www.jianshu.com/p/2a237ba0e4d1(本次安装中未出现，所以仅作为参考)

检查Anaconda是否安装成功：

 

 

检查目前有哪些版本的python可以安装：

conda search --full-name python

3.通过调用以下命令创建一个名为tensorflow的conda环境：

以下只是安装了环境，tensorflow本身还未安装，安装在后面

conda create -n tensorflow_gpu pip python = 3.6

通过发出以下命令来激活tensorflow环境：

 conda activate tensorflow_gpu

二 安装TensorFlow

安装GPU版需要事先选好并装好CUDA和cuDNN

1.检查显卡支持CUDA的哪个版本

首先是去NVDIA控制面板中去查询支持的CUDA版本
CUDA是NVIDIA推出的运算平台，CuDNN是专门针对Deep Learning框架设计的一套GPU计算加速方案。在安装之前要查询下最新TensorFLow发行版支持到了哪个版本。笔者的显卡是gtx780,支持CUDA9.1，在TensorFlow官方社区查询到支持CUDA9.0

 

基于以上的条件，笔者选择了CUDA9.0，并下载了对应的CuDNN版本，即cuDNN7.0。

 

2.CUDA下载

3.cuDNN下载

下载cuNDD需要注册账号，流程比较简单。

4.CUDA安装

运行安装包，安装软件会先运行一个系统检查，如果没有软硬件不兼容的情况就能继续进行下一步。若有不兼容情况，系统检查则会报错，无法进行下一步。如果报错了，就最先考虑下是不是自己的显卡不被该版本支持。

 

 

在选项着一栏选择自定义，否则安装程序会一股脑把里面所有软件包都给你装上。

 

在选择安装项时一般不安装GeForce Experience，CUDA是核心组件必须勾上，剩下两个选项的当前版本如果比新版本低的话也可以勾选上。接着点击下一步就开始安装了。

5.cuDNN7.1安装

解压压缩包cudnn-9.0-windows10-x64-v7.0.zip，得到三个文件夹

 

 

将这三个文件拷贝到CUDA9.0的安装路径根文件夹下

 

6.安装TensorFlow

打开Anaconda Prompt，进入Anaconda命令行管理界面。激活并进入环境，使后续指令在激活的环境中生效，输入指令：

conda activate tensorflow-gpu

安装TensorFlow

conda install tensorflow-gpu

至此，tensorflow的安装完成。

三 测试

在命令行中，进入python，并输入以下代码：

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

输出：

b’ Hello, TensorFlow!