深度学习1-深度学习环境安装,有这一篇就够了!Anaconda-Python+Tensorflow2.0-GPU+Keras+Pycharm

教程更新,推荐大家直接看我最新的一篇教程,最新是对这个改进和优化,经本人亲自重装电脑环境测试,那个方法更加简单有效更香.

新教程:Tensorflow2.0-GPU深度学习环境安装,踩坑后整理一步到位安装总结篇.Win10+Anaconda+Tensorflow2.0-GPU+Pycharm,强烈建议Anaconda很香

这一篇可以作为一个知识点的了解,内容很多,部分内容还是很对tensorflow安装的关键点的.

2020年4月20日 更新 第一段代码

------------------------------

这是本人从零到一学习深度学习的第一篇记录,也不知道能写出多少学习记录,也不知道能学到多少,总之记录下自己的学习过程,遇坑过程,一切跟深度学习的过程都会一一记录,一方面给自己回头看的一点念想,另一方面给其他同学参考,按这一篇就可以解决对应的问题.

2020年3月9日 by 第一段代码

<这个安装 看了好多人的安装博客,最后理顺和整合了一下,讲到底看我这一篇搭建深度学习环境就足够了,按步骤走完安装Tensorfllow2.0-GPU/CPU+Keras环境肯定没有问题了>

Tips:CPU和GPU安装大致相同,只是因为电脑配置问题安装不了GPU版,需要跳过2.1 NVIDIA-CUDA/cuDNN配置,直接安装完python环境后进入2.2tensorflow的安装即可.

A 电脑配置:

Windows10 64bit

显卡:Nvidia GeForce 920MX -初始版本:382.05

B 目标安装环境:

a-  python3.7

b-  tensorflow2.0-gpu

c-  cuda10.0--NVIDIA计算加速器

d-  cudnn7.5 for cuda10.0 --神经网络加速器

(cuda10.0和cudnn都是安装tensorflow-gpu版本要求的,cpu版本不需要,同时cuda的版本和cudnn版本又是相关联的)

e-  keras

f-   编程工具:Pycharm2019

C 安装实现过程:

 

1.Python环境安装

1.1 Anaconda安装Python环境

Pyhton环境:Anaconda-Python3.7

下载地址:https://repo.anaconda.com/archive/Anaconda3-2019.10-Windows-x86_64.exe

https://www.python.org/downloads/release/python-376/

这里使用了Anaconda安装Python环境为啥没直接用pyhton3.*.exe安装呢?前期笔者调研了好多,归纳两个原因如下:1)Anaconda集成了很多包,非常方便包的管理;2)好多人人推荐都是anaconda;(其实一开始,我是直接用python3.7.exe安装,而且安装好了,没啥区别)

Tips:这里建议大家勾选上上第一个加入到系统的Path变量中,省得后面再去配环境,这样可以直接使用cmd命令运行了.

1.2测试Anaconda是否安装成功:conda list

可以看到anaconda带的很多库,一般安装这个一般不会出错,就是简单的软件安装.

1.3 配置国内镜像-下载依赖包加速

我们知道python等一些开发语言都不是国内的,服务器在国外,下载软甲都是比较慢的,比较好的办法就是将下载镜像源改到合作方国内镜像,一方面下载速度较快,另方面不那么容易下载中断失败.

这里我们使用了清华大学的镜像源,打开cmd,直接敲入下面一段命令即可:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2.深度学习框架安装

a-安装CUDA计算加速器

b-安装cuDNN神经网络计算加速器(和前者配套的,后者安装失败,依然会使tensorflow安装失败)

c-安装Tensorflow-gpu

d-安装kares框架

由于本次我们安装的是tensorflow2.0-gpu版本,GPU版本对系统硬件的有特殊要求,cpu版本则没有.要求如图,所以安装Tensorflow之前,需要安装GPU的要求NVIDIA的驱动及CUDA工具支持:

Tips:如果你电脑显卡不是NVIDIA的是AMD等显卡,直接可以跳过2.1这一步,没有NVIDIA显卡安装不了GPU版本,只能跑CPU版本.

 

2.1 CUDA(NVIDIA专门提供的计算加速器)

安装之前,先查看自己的NVIDIA是否能够支持上图所述,如果满足要求,就可以跳过升级显卡这一步.如果不能满足,可能就需要更新一下显卡的驱动(不知道是否都能成功,笔者电脑的GeForce 920MX原版本382.05升级成功到了符合要求的416.94,其实可以升级到更高,其他版本网络不好下不下来)

2.1.1 判断显卡是否满足tensorflow2.0-gpu安装要求

方式:控制面板-硬件和声音-NVIDIA 控制面板(或其他方式进入NVIDA控制面板)-即可查看当前显卡的版本信息

如果符合安装要求,那就直接跳过升级步骤,直接进入第三步安装CUDA.

不符合,我们就需要去检查下是否有机会升级驱动.

2.1.2升级驱动

检查地方:

GeFerce版显卡:https://www.geforce.com/drivers

其他NVIDIA版本检查:https://www.nvidia.com/Download/index.aspx?lang=en-us

在这个网址现在你电脑显卡的型号,查询下就可以看看有没有升级包了,有下载一个满足要求更高的包升级就好了.如笔者的:

看,很多个可升级的包,而且大于410.X,我们去下载其中一个就好了.(Tips:很遗憾,点进去下载,可能网络问题,下载直接失败,最后我网上找了一个416的版本进行了升级,升级需要的大家可以留言的)

下载好了之后,默认安装就完了,安装完,我们再去NVIDIA控制面板,就可以看到我们最新更新后的版本.如图:

于似乎,我们就可以开始CUDA的安装啦,这里安装对应的cuda10.0版本(建议升级完了,重启一下电脑)

2.1.3安装CUDA10.0(计算加速器)

CUDA下载地址(下载不成功可以评论区找我分享):

https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exelocal

2.1.3-1 cuda安装

先会弹出一个类似文件加压释放的程序.然后才是正式安装，安装第一步记得选择自定义安装，默认推荐安装可能遇到坑.

2.1.3-2 取消NVIDIA GeForce 这个组件安装.NVIDIA自己都快淘汰他了.

2.1.3-3 Visual Studio Intergration组件可不安装(本机装了VS的可以勾选,没安装的不要勾-这项设置要点开CUDA下才会显示出来)

2.1.3-4 Display Driver版本比对:这一步很关键,版本一定要核对正确,不然会安装报错(-这项设置要点开CUDA下才会显示出来):

显卡版本比对,如果当前显卡版本号大于CUDA自身默认安装的版本号,一定要取消这个勾.如当前我电脑升级后是416版,而CUDA默认会安装的是411版,那么就不需要勾选!!!!

其实CUDA这里主要是为了我们电脑显卡版本不够,给我们升级显卡版本用的,似乎有点像我们2.1.2升级显卡的味道.这里也是我后面看资料发现CUDA还带有显卡升级这一福利,这样看来完全可以跳过2.1.2显卡升级的步骤,没有测试过,建议还没有安装的同学试试,应该可以跳过显卡升级那步,如果成功了,麻烦评论告知一下呀.

2.1.3-5 软件安装位置需要留一下,知道放在那里就行,等下配置Path环境要使用的.

2.1.3.6 暂时放一边,先装cuDNN(它是解压文件,加压文件要放到CUDA安装文件相应的地方即可),装好在回来配置CUDA的PATH环境变量.

2.1.4安装cuDNN7.5 For CUDA10.0

cuDNN下载地址:

https://developer.nvidia.com/rdp/cudnn-archive

cudnn要看cuda的版本，如cuda10.0，那么cudnn可以是7.* for cuda10.0,记得看清楚for对应的cuda版本,一定要和我们安装的cuda版本对应。这里需要注册登录才能下载.

解压下载好得到的文件夹改成成cuDNN，里面有三个文件夹【bin、include、lib】.

然后把cudnn这个文件夹复制到cudn安装根目录中.如图:

2.1.5 配置和测试CUDA和cuDNN

(1)配置环境变量

配置环境变量-Path变量(我的电脑-属性-高级系统属性-环境变量-系统变量-编辑Path变量)

主要在Path变量添加CUDA安装目录下的以下4条路径记录,用于启动cuda和cuDNN环境,而且都要按这个顺序,必须位于顶部,缺一不可(具体目录看大家自己安装的目录).

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\libnvvp

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\extras\CUPTI\libx64

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\cudnn

(4行缺一不可,必须位于顶部,按顺序配置,第一二条可能安装cuda时候会自动加到path中,如果直接配置后面两条就好了)

(2)测试cuda是否安装成功

调出cmd,输入:

nvcc -V

可以看大CUDA输出以及版本好,说明就是安装成功啦

2.2 安装Tensorflow2.0-GPU/CPU版 

上述步骤完成了安装框架的前奏,万事俱备只欠东风,我们可以开始迎出我们真正的主角安装了,讲到底上面要是都安装成功了TensorFlow不会安装失败的.

2.2.1 建议新建一个Python的虚拟环境安装(不安装虚拟环境,可以跳过,进入2.2.2-(3))

为什么用虚拟环境?可以参见我之前写的一篇博客:Python为什么要使用虚拟环境-Python虚拟环境的安装和配置-virtualenv(https://blog.csdn.net/godot06/article/details/81079064)

核心主要就是为了放置版本不兼容,版本冲突,所以无论做项目还是科研都建议使用虚拟环境进行.比如哪天我们想要用tensorflow2.0框架来玩数据,就使用使用tensorflow2.0的虚拟机,该虚拟机有我们装好的对应库;哪天我们需要使用Pytourch框架来训练,我们就切换到pytourch的虚拟环境.这样两者可以并行兼容,不会那么容易出现兼容冲突问题.这里这是举例子,不一定这两个框架就得分开哈,能不能一起我也还不知道,毕竟还菜,这是我的第一篇深度学习笔记.

Tips:如果不想用虚拟机的,请直接跳过虚拟机部分,不影响tensorflow的安装,但是建议使用,这样不会把原始环境或和其他环境搞乱.如果到时候要换机器,直接把当前环境导入出来里面就可以换.

在Anaconda下有关虚拟机的命令有:

a-查看当前有哪些虚拟环境:   conda info --envs

b-检查有哪些版本的python可以用来安装虚拟环境：conda search --full-name python

(其实也是conda用于查看Anaconda安装后有那几个版本pyhton,也说明新建虚拟环境时可以根据需求自行指定要安装的python版本)

c-新建虚拟机指定版本的虚拟机: conda create --name tensorflow python=3.7

(这个就是新建一个虚拟环境为python3.7 虚拟环境名称是tensorflow)

d-激活虚拟机/进入该虚拟机:  activate tensorflow

(进入虚拟机后,可以理解成,他就是一个新python环境,里面的python指令操作都是可以进行的 如查看当前python的版本 : python --version)

e-退出虚拟机:  deactivate

f-删除当前虚拟机:conda remove --name yourenvname(tensorflow) --all

Tips:还是那句话,如果不想用虚拟机的,请直接跳过虚拟机部分,进入2.2.2-(3)不影响tensorflow的安装,但是建议使用,这样不会把原始环境或和其他环境搞乱.如果到时候要换机器,直接把当前环境导入出来里面就可以换.

好的下面进入我们主角Tensorflow2.0-GPU框架的安装吧

2.2.2 安装Tensorflow

(1)新建名为tensorflow的虚拟环境,用来专门进行tensorflow学习训练,版本指定使用python3.6

conda create --name tensorflow python=3.6

(2) 进入刚刚新建以及以后要常常使用虚拟环境

activate tensorflow

(3)安装Tensorflow

在该虚拟环境下,安装我想要的依赖框架,比如我们的主角tensorflow2.0-GPU等python依赖库(也就是说,以后跟tensorflow相关的依赖我都安装到这个虚拟环境下使用).安装tensorflow2.0-GPU版本(万众瞩目的以下,成败在此一举):

pip install --ignore-installed --upgrade tensorflow-gpu==2.0

Tips:

①如果你是使用了上述我阐述或提供CUDA10.0,那么安装tensorflow-gpu时,在tensorflow后面指定要下载的版本2.0,不指定会下载最新的tensorflow,如目前最新的是2.1,这样会和显卡型号不匹配.安装会顺利完成不会报错,但是导入import tensorflow的时候就会给你莫名错误.切记切记

②如果你的电脑没有NVIDIA显卡,就是前面说可以直接跳2.1这一步步骤,同样可以装虚拟环境,然后使用以下命令安装CPU版本的tensorflow2.0

pip install --ignore-installed --upgrade tensorflow==2.0

安装tensorflow打印的一些日志:

这些是安装tensorflow自动下的安装依赖.

2.3 安装Kares

由于我们项目还用到了keras,所以这里也记录一下(不需要的可以跳过)

安装Keras包:    

pip install keras -U --pre

2.4 测试tensorflow是否安装成功/tensorflow-gpu版本是否成功

一般使用import tensorflow 如果成功,基本说明安装成功;测试tensorflow-gpu是否成功,可以额外使用一个方法:

import tensorflow as tf tf.constant(1.)+tf.constant(2.) tf.test.is_gpu_available()  //专门测试gpu是有有用

至此,我们的tensorflow2.0+Kares在虚拟环境下正式安装配置完成,同学可以认真的参与深度学习的玩耍了.tensorflow还是比较耗机器的,建议换一个显卡好一点的机器跑.还是那句话,如果不想用虚拟机的,请直接跳过虚拟机部分,不影响tensorflow的安装,但是建议使用,这样不会把原始环境或和其他环境搞乱.如果到时候要换机器,直接把当前环境导入出来里面就可以换.

3编程工具：Pycharm安装与使用

工欲善其事必先利其器,上面我们 配置好了环境,要写代码了就要想到一把屠龙宝刀,这里我们选取了业内推崇的Pycharm来做IDE工具.

安装的版本:Pycharm 2019

安装步骤:

3.1下载安装

像普通软件安装一样,基本默认安装就可以了,以下几个地方的配置可以改下:

3.2打开Pycharm2019

激活那些,就仁者见仁智者见智吧,可以先免费试用30天.

3.3配置Pycharm编译环境

打开Pycharm页面底部-Configure-Settings-搜索Interpreter，然后按下面步骤配置我们安装好的虚拟环境（如果没有配虚拟环境，那就是配本地安装默认的Python所在的位置）

（1）配置虚拟环境编译环境

（2）开始创建项目Create new Project - 记得选择当前项目要使用的编译环境，如刚刚配置的环境

（3）新建程序文件和运行

新建一个py文件，打开并编写如下代码，这是一段测试当前安装tensorflow版本和是否能使用GPU的简单代码，代码编辑完后Run即可.底部是控台输出的信息

import tensorflow as tf version = tf.__version__ gpu_ok = tf.test.is_gpu_available() print("tf version:",version,"\nuse GPU",gpu_ok)

 

至此,我们深度学习环境安装Anaconda-Python+Tensorflow2.0-GPU+Keras+Pycharm,彻底安装并测试成功.下面就开始不见底的深度Learning吧!!!!!

参考安装:

1.https://blog.csdn.net/qq_26567507/article/details/89181480

2.https://www.jb51.net/article/174757.htm

3.https://blog.csdn.net/Cs_hnu_scw/article/details/79695347

4.https://blog.csdn.net/Cs_hnu_scw/article/details/79695347

5.https://blog.csdn.net/qq_31456593/article/details/89203335

6.https://blog.csdn.net/weixin_43528943/article/details/103066063