使用指定开发环境的主要目的是方便读者运行代码。深度学习环境主要基于Linux操作系统搭建,此过程需要有Linux相关的知识作为铺垫。然而,使用指定的开发环境,可以将这一部分大大简化,使读者直接运行代码,降低入门门槛,否则读者可能会遇到很多无从下手的麻烦,影响主要内容的学习。我们前期的项目实验大多在Windows上进行,我们先讨论Windows上进行深度学习的环境搭建。
一、Anaconda的安装
Anaconda其实是一个打包的集合,里面预装了conda、某个版本的Python、众多包以及科学计算工具。anaconda真正的利器在于其中的conda包管理工具,它可以帮助我们方便的管理自己的python开发环境,不仅能将不同开发项目所依赖的开发环境完全独立开来,还可以轻易的复制整个python环境到其他机器。
这样,python开发项目的部署就变成了一件非常简单且易于维护的事情。
如果觉得官网下载的慢,可以去这个镜像源网站下载:
两个版本可供选择:Python 3.7 和 Python 2.7,选择版之后根据自己操作系统的情况 点击“64-Bit Graphical Installer”或“32-Bit Graphical Installer”进行下载。一般现在我们会选择Python3.7;
2.完成下载之后,双击下载文件,启动安装程序。
注意:
1.如果在安装过程中遇到任何问题,那么暂时地关闭杀毒软件,并在安装程序完成之后再打开。
2.如果在安装时选择了“为所有用户安装”,则卸载Anaconda然后重新安装,只为“我这个用户”安装。
选择“Next”。
3.阅读许可证协议条款,然后勾选“I Agree”并进行下一步。
4.除非是以管理员身份为所有用户安装,否则仅勾选“Just Me”并点击“Next”。
在“Choose Install Location”界面中选择安装Anaconda的目标路径,然后点击“Next”。
5.目标路径中不能含有空格,同时不能是“unicode”编码。
6.除非被要求以管理员权限安装,否则不要以管理员身份安装。
3.在“Advanced Installation Options”中不要勾选“Add Anaconda to my PATH environment variable.”(“添加Anaconda至我的环境变量。”)。
因为如果勾选,则将会影响其他程序的使用。如果使用Anaconda,则通过Anaconda Navigator或者在开始菜单中的“Anaconda Prompt”(类似macOS中的“终端”)中进行使用。
4.除非你打算使用多个版本的Anaconda或者多个版本的Python,否则便勾选“Register Anaconda as my default Python 3.7。
5.然后点击“Install”开始安装。如果想要查看安装细节,则可以点击“Show Details”。
点击“Next”。
进入“Thanks for installing Anaconda!”界面则意味着安装成功,点击“Finish”完成安装。
6.Windows系统安装好anaconda之后,不要忘记添加环境变量,下面这个链接介绍了如何添加环境变量:
二、paddlepaddle的安装
飞桨(PArallel Distributed Deep LEarning,简称paddlepaddle是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台,已被中国企业广泛使用,深度契合企业应用需求,拥有活跃的开发者社区生态。提供丰富的官方支持模型集合,并推出全类型的高性能部署和集成方案供开发者使用是一个易用、高效、灵活、可扩展的深度学习框架。你可以使用进入下面的这个链接,去了解关于paddlepaddle更多的一些信息:
1.创建、退出、删除anaconda环境
安装好Anaconda之后,电脑上就会出现Anaconda,如下图:
点击【Anaconda Prompt】,进入命令行界面:
查看anaconda的虚拟环境(示例)
conda env list
conda environments:
base * D:\soft\anaconda
其中,base就是Anaconda自带的默认安装环境。
创建一个新的虚拟环境
conda create -n env_name python=version anaconda
删除一个虚拟环境
conda remove -n env_name--all(不要乱删,谨慎使用这个命令)
其中,【env_name】为设置的虚拟环境的名字,如命名为【data_analysis】;【python=version】为设置的python版本,如创建版本为3.7的环境【python=3.7】;【anaconda】为可省命令,省略时为一些Python的基础包,添加时为具有Anaconda的所有包,对于数据分析而言,当然应该添加。
新建一个虚拟环境,打开Anaconda Prompt,输入:
conda create -n paddlepaddle python=3.7 anacoda
注意:默认的情况下(即后面没有anaconda的时候)只安装了一些必须的包,并不会像我们安装anaconda时自动安装很多常用的包。要实现上面的功能,则须在末尾加上‘anaconda’,完整命令是:conda create -n your_env_name python=X.X anaconda
完成之后激活该环境
activate paddlepaddle
退出该虚拟环境(读者无需退出,直接在新创建的环境下安装)
conda deactivate
2.Windows下安装paddlepaddle
激活虚拟环境【paddlepaddle】:
安装库(这里安装的是CPU版本的,对于GPU版本的必须配置cuda等操作,初学者不建议)
确认pip版本,pip的版本应在9.0.1以上
如果pip版本过低,可以考虑在cmd中使用以下指令
Successfully installed funcsigs-1.0.2 graphviz-0.13.2 objgraph-3.4.1 opencv-python-4.2.0.32 paddlepaddle-1.7.1 prettytable-0.7.2 protobuf-3.11.3 rarfile-3.1 scipy-1.3.1
3.Win10安装paddlepaddle-gpu
如果数据比较多模型比较大在CPU上训练会太耗费时间,所以我们可以考虑使用Nvidia显卡在GPU上进行训练,这样的话我们需要安装paddlepaddle-gpu,要确认:
Windows10系统且为64位
显卡为Nvidia 显卡
3.1 首先我们要确认python版本(本篇仅讨论python3)
请确保python版本为3.5.1+/3.6/3.7
!!!注意,python3.8是不被支持的!!!当然,我们前面安装anaconda的时候已经确定是python3.7。
3.2.安装CUDA以及CUDNN
确认最高可安装的cuda版本
在桌面右击,选择NVIDIA控制面板
在NVIDIA控制面板上部菜单栏中选择帮助,点击系统信息
在系统信息中选择组件,在NVCUDA.DLL右侧可以看到最高版本,我的是10.2,这意味着我的电脑最高可以安装CUDA 10.2,但是也可以安装较低版本 如CUDA 10.0
(在更新驱动后版本可能会提升)
注意,paddle默认的安装版本支持CUDA 10.0,CUDA 9.0需要另外获取对应版本的paddle安装包
!!!注意,CUDA 10.1 以及 CUDA 10.2 尚未得到支持!!!
接下来下载CUDA,在这个网站上我们可以获取CUDA的各个版本
下载需要的CUDA版本安装包,如果显卡支持的话推荐安装CUDA 10.0
下面以CUDA 10.0安装为例
下载后正常安装即可,推荐安装在默认安装路径,就直接安装在C盘就行了;
注意需要在C盘预留3GB以上的空间方能正常完成安装
若遇到安装失败,可以考虑重启电脑后再度尝试安装
以下为NVIDIA CUDA的安装向导(全英文)
安装CUDNN
下载CUDNN
下载CUDNN需要注册NVIDIA开发者账户,注册需要填写一个问卷
注意,CUDNN需要对应CUDA的安装版本,在这里我们以CUDA 10.0为例
CUDNN下载下来之后是一个zip文件,首先将其解压,我们需要将CUDNN的文件复制到CUDA安装目录下,在此我们以CUDA 10.0 、默认安装路径为例
将解压出的文件夹 cuda\bin\cudnn64_7.dll 复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin
cudnn64_7.dll(文件名可能略有不同)
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin(取决于你的CUDA安装路径,该路径为默认安装路径)
将解压出的文件夹 cuda\include\cudnn.h 复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include
同上
将解压出的文件夹 cuda\lib\x64\cudnn.lib 复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64
同上
以下为NVIDIA CUDNN的安装向导(全英文)
安装完之后还需要添加环境变量,将解压后的文件中的lib/x64文件夹关联到环境变量中。这一步很重要。
在安装完成后,在 cmd 中输入以下命令来确认安装情况
正常情况下会返回CUDA版本
3.3 安装paddlepaddle
若安装了 CUDA 10.0(并且安装了CUDNN),使用以下命令
python -m pip install paddlepaddle-gpu==1.7.2.post107 -i https://mirror.baidu.com/pypi/simple
其中post值是107,是CUDA和cudnn版本的组合,这里我们是CUDA10.0,cudnn是7;
若遭遇报错 No matching distribution found for paddlepaddle-gpu
该报错是由于python版本过高或者过低,需要重新安装正确的python版本,参照3.1
测试paddlepaddle-gpu是否正确安装
点击【Anaconda Prompt】,进入命令行界面:
输入
python
接下来输入
若遭遇报错 ModuleNotFoundError: No module named 'paddle'
paddle可能未安装或者未正确安装,可以尝试重新安装paddlepaddle
输入
若遭遇报错 RuntimeError:cublas64_100.dll not found
该报错可能是由于
CUDNN未正确安装
CUDA版本与paddlepaddle版本不对应(不支持CUDA10.2),参照第二部分
正确安装的输出:
Your Paddle Fluid is installed successfully!
4. Jupyter Notebook
Jupyter Notebook是一个交互式web笔记本,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。在数据分析和处理中极其有用,这一工具Anaconda中是自带的。
打开jupyter Notebook
5. 测试PaddlePaddle是否安装成功
输入
import paddle.fluid as fluid
fluid.install_check.run_check()
若输出
Running Verify Paddle Program ...
Your Paddle works well on SINGLE GPU or CPU.
Your Paddle works well on MUTIPLE GPU or CPU.
Your Paddle is installed successfully! Let's start deep Learning with Paddle now
则表明paddlepaddle已经安装成功!
三、Ubuntun16.04的安装
一、准备:
(一)、准备工具:
➢ U盘一个(请提前备份U盘里面的资料,因为后面操作要格式化U盘)
➢ Ubuntu 16.04LTS(长期支持版) 镜像:
云盘下载地址:
➢ 启动U盘制作软件:
(二)、分区---分出来一个磁盘,用于安装Ubuntu
我在下面已经把链接内容搬了过来,只是写了我们用得着的部分,还有一点请注意:这个“百度经验”中分的是“C盘”,你在分区时请根据你的磁盘大小进行分区,而且不建议分“C盘”,建议分非系统盘,如果你不知道该分多大的空间,请先看一下后面,我写的Ubuntu安装时的分区设置部分。)
(1) 进行分区之前,我们必须进入系统的磁盘管理。进入磁盘管理发方式有两种。一种是通过电脑属性,进入磁盘管理。
第二种是直接右键点击windows键(windows+X)选择磁盘管理。
(2)进入磁盘管理之后,我们可以看到我的分区情况。然后选择你需要进行分区的磁盘,点击右键,选择“压缩卷”,如图示。
(3)然后系统会自动的查询压缩空间,如图示:
(4)然后我们选择选择好需要压缩空间的大小。点击压缩:
(5)等一会,空间就压缩好了。如图示会出现一个可用的空间。这就是我们刚才压缩出来的空间:
(6)说明:磁盘分区做到这里就行了,不用再往下进行,原“经验”还有后面的“新建分区”部分,在这里我们是用不到的,所以做到上面的步骤就行了。
(三)、制作启动U盘:
(1)、双击运行上面下载好的“rufus”,即启动U盘制作软件;
(2)、运行之后,会现如下界面:(其实第一次运行时,我的还出现了一个提示更新的界面,那个我选了“是”,就进入了下面的界面,应该是可以随便选的。之后运行软件,就直接进入了下面的界面):
(3)、在“iso镜像”旁边有个小光盘的图标,点击那个图标,会出来一个界面,让你选择Ubuntu 镜像文件,找到你的Ubuntu 16.04的镜像位置,选择即可:
(4)、上一步选择之后,会出现下面的界面:(点击开始)
(5)、点击了“开始”之后会出现一系列的警告或者提示,选择“是”,“ok”,“确定”就行(如果你是边看博客边操作的话,为了保险,请先看完图),下面是截图:
(6)、经过上面的步骤之后,就开始将镜像写入U盘了,如图:
(7)、经过一小会儿的等待之后,写入成功,如图:(点击关闭即可)
(8)、可以看一下自己的U盘(此步可省略,如果看了,不要对里面的文件进行任何更改):
读到此处,可看更新文章
二、安装:
(下面的安装过程,没办法截图,可能有,但是我没找到,所以都是用手机拍的,有的图片可能不清楚,或者拍的角度不好,还请见谅。)
(1)将U盘插在电脑上,选择启动方式为U盘启动,如果你的电脑有两个USB...选项可供选择,可能一个带有“USB..UEFI”,另一个没有“UEFI”,请选择没有“UEFI”的,选带有“UEFI”的可能会出现问题,(关于如何从U盘启动,快速U盘启动什么的,还请根据自己的电脑型号自行百度),下面是我的选择U盘启动的截图:
(2)选择了U盘启动后,等待一小会儿,会出现如下“欢迎”界面(通过左侧的语言栏选择中文),选择中文后,点击“安装Ubuntu”;
(3)接下来会进入“准备安装Ubuntu”界面:这里勾选“为图形或无线硬件….”,然后点击“继续”(还需要等待一小会儿);
(4)之后进入“安装类型”界面,选择“其他选项”,之后继续,如图:
安装Ubuntu的时候很多人都推荐在安装的时候选择更多选项,然后手动给swap,home等分区。
但是直接选择默认的选项安装其实也可以,最简单的莫过于“安装Ubuntu,与Windows10共存”选项,单击“继续”按钮,安装向导将根据原有的分区信息自动选择合理的分区方式。
(5)之后便进入了让你选择位置的界面,这个不用选,直接“继续”就可以了(进入系统后可以设置):
(6)之后选择键盘布局,默认都已经选好了,都是“汉语”,这也可以直接“继续”:
(7)之后进入“你是谁?”,即创建一个用户(也会是系统默认的管理员),填好之后,“继续”,我的如下图:
(8)上步点了“继续”之后,就开始安装了,耐心等待吧,附图:
(9)安装完成,重启:
(10)“现在重启”后进入下面的界面:(它会默认进入Ubuntu系统,好像是有8秒的选择时间,进入Ubuntu,选择第一项“Ubuntu”;如果进入windows10,选择最后一项“windows 10….”):
(11)然后进入登录界面:
(12)登录成功,进入桌面: