2018年 2月8日下午,开始搭建环境。我新买了联想Y720笔记本电脑一台,希望用它来开展深度学习的探索。根据之前的一点点经验,搭建深度学习的环境。本篇博客主要记录的是流程,不提供相关数据的下载链接等,希望对学习者有所帮助,也希望有大神对安装进程的错误进行指教。
1找到一些相关的帖子进行大致了解,在此,我参考的帖子是这个:
http://blog.csdn.net/zhili8866/article/details/52955154?locationNum=8&fps=1
(博主说不允许转载,不知道发连接是否可行,有问题请及时联系我)顺序其实不太重要,我就按照我安装的顺序进行记录。
2首先安装的是pycharm编译器,我已经注册其账户并凭借在校学生的身份申请到一年的使用权限。(任意python编译器都可以的吧)在官网下载最新版本(pycharm-professional-2017.3.3)(2018.2.8日前下载)
3下载anaconda,官方网站可以选择版本,我下载的同样是最新的Anaconda 5.0.1版本,但是官网下载非常慢(大概几十kb/s,我耽误了至少1天时间等它下载好),所以,在此,推荐清华大学的镜像(百度“清华镜像anaconda”)。安装的是python3.6。
给出连接:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
镜像中下载的也正常使用了,截图如下:
不要忘记配置“环境变量”,具体如何找到环境变量需要百度搜索,之后注意,有"用户变量和系统变量"的区分。我们要设置的是系统变量,分别将2个变量添加到对应的位置中:“D:\Anaconda3”和“D:\Anaconda3\Scripts”,第一个是安装路径,第二个是Scripts文件夹路径。添加完之后,“win+r”进入运行,输入“cmd”进入命令行。在命令行中可以运行python.
4 安装Visual Studio
本次安装使用的是Visual Studio2013,亲测可用。来自半年前实验室lff师姐下载的版本。各位看官请自行下载Visual Studio2013或者 Visual Studio2015。注意这两个版本是可用的,也看到2017年10月左右的帖子中vs2017也可用了,但是需要注意cuda的版本。至少2013是确定可用。这部分的安装也很麻烦,建议安装一种,不要安装2种。主要的目的好像在于CUDA需要C++的编译器,Windows下可以使用Visual C++。其他原因不知道,按照主流教程安装就好。
5下载安装CUDA.
CUDA是nvidia提供可以使用C++进行GPU编程的接口,其官方下载地址为:https://developer.nvidia.com/cuda-downloads 目前最新版本是cuda_9.1.85。当然你要选择一些设置,之后下载local版(有帖子推荐下载network版,但是我觉得没什么区别。)
【敲黑板!!!】
重点就在这里,不是所有的cuda都适用于你的显卡,也不是所有cuda都和将要安装的tensorflow匹配!就在这里需要搞清楚2件事情,第一,你的显卡适合什么cuda?第二,cuda需要配套什么tensorflow?
6确定cuda版本
我参考的连接:https://www.cnblogs.com/yingchuan-hxf/p/7710071.html
打开控制面板,搜索nvidia
在【帮助】中点选【系统信息】,在弹出的对话框中,选择【组件】
由此可以看到,我的显卡GTX1060支持的是CUDA 9.0.176,既不是网上流行的“最新版本8.0”,也不是可下载的最新版本9.1。那么我们之后就需要根据这个来选择tensorflow了。
在这个过程中我也走了很多弯路,首先,我是先安装了8.0,安装过程中,在第一步就显示说没有找到硬件设备,但是可以继续安装的错误。
别处截得的图片。
在安装cuda9.1后,遇到了import tensorflow ,找不到cuda9.0的问题,这是后面遇到的错误,这时候我突然想到要 更换cuda版本来消除这个错误。(没截图。。。但是相同语句在百度搜索可以搜到几个帖子)
截图类似于这个:
相关连接也可以查看一下希望对大家有帮助:http://blog.csdn.net/wobeatit/article/details/79207196
至此,我们选择了适合自己机器硬件版本的cuda。这步很重要,希望大家仔细寻找相关的教程,但我没能够给大家列出一个表格,什么显卡对应哪些·cuda...
福利,各种版本的cuda:https://developer.nvidia.com/cuda-toolkit-archive
7在vs和cuda安装好后,记得配置一下环境变量:
C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\bin
C:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\IDE
(这步来源于之前参考的帖子,本人没有添加这两个环境变量,也可以运行
8检查cuda
我们可以运行CUDA提供的例子来判断CUDA是否安装好了,打开
C:\ProgramData\NVIDIA Corporation\CUDA Samples\v9.0\1_Utilities\deviceQuery,文件夹,运行
【deviceQuery_vs2013.sln】文件。(如果c盘乱,建议直接搜索“1_Utilities”)
生成解决方案后,点击绿色按钮运行。别忘了在代码结束前末尾加system(“pause”)。如果出现错误,可以采用重新编译什么的方案。可以看到自己的显卡设备信息,这样CUDA就安装好了(如果vs2015(vs2013)直接退出的话,在代码结束前末尾加system(“pause”);
运行结果类似这样:
这样,就确保cuda安装完毕。
8安装必要环境,这部分错误特别乱也特别多,希望大家一步步跟着来,错哪搜哪。
如何查看已安装的库
打开 Anaconda Command Prompt ,在命令提示符窗口中输入以下命令:`pip list` 或者`conda list`,
其中,`pip list` 只能查看库,而 `conda list` 则可以查看库以及库的版本
1. 如何安装或更新库
以安装 更新 scipy 为例
pip install scipy
pip install scipy --upgrade
或者
conda install scipy
conda update scipy
2.更新所有库
conda update --all
3.更新 conda 自身
conda update conda
4.更新 anaconda 自身
conda update anaconda
在这个过程中,是直接在cmd命令行中进行的。如果没有pip ,那就先 conda install pip,之类的各种操作。整体来说,安装完这些,就可以进行下一步的安装咯。
9安装mingw 和 libpython
conda install mingw libpython
命令行输入,如果网速慢,那就请用4g手机开热点下载。别担心那一点流量哦,不然等几个小时突然失败了好伤心。
10安装keras
pip install keras
如果想使用ipython,需要在新的环境下安装ipyhon
conda install ipython
请不要忽略对keras的配置问题:在安装keras之后,打开当前用户的目录 ,找到.Keras文件夹,里边有个keras.json文件,直接用笔记本打开 。目录在这里C:\Users\zhaiy\.keras(zhaiy是我的用户名)需要将backend修改为tensorflow。(至于channels_last还是channels_first怎么确定,我还不会,请多指教)
11安装tensorflow
这里不选用theano而选用tensorflow 的原因在于theano我没装上,具体的原因也解释不清。只要能支持keras就好,同学们也安装的是tensorflow,所以我就没再深究。
安装tensorflow时使用的语句如下:
>pip install tensorflow-gpu
需要注意,这时安装的是最新版的 tensorflow-1.5.0(2018年2月9日),而这个版本的tensorflow ,刚好于倒数第二版的cuda9.0相匹配。所以各位看官,针对你自己机器的配置所安装的cuda,能使用什么版本的tensorflow需要您自己去寻找。
【!!!】注意那个小小的“-gpu”代表这要装的是gpu版本而不是cpu版本。(默认的话好像是cpu版本,第一次实验我就装成了这个,看到了cpu设备。)
这是再次安装的提示。
12环境变量设置。
配置环境,环境变量必须重视起来!除了安装程序自动添加的一部分环境变量外,所有的环境变量都添加在“系统变量”中的“path”中。
第一个框中是系统自己加的,很多是没用的cuda.第二个框是我自己写入的。
1~2条是在安装ananonda后添加的。
3~4条是安装mingw和libpython后添加的。(不添加会报错)
5条是我之前尝试theano添加的。(应该不需要咯)
如果还有别的添加环境变量的内容我没有写到请见谅并及时指出。
13安装cudnn!
还有一个没安装呢,不要太心急。百度一波“windows 安装cudnn就可以获得很多方案”看过几个帖子之后我就大概知道咯。
下载网站需要注册用户,密码要有英文大小写和数字。
https://developer.nvidia.com/rdp/cudnn-download
进入后依次选择需要的内容。
安装cuDNN7,比较简单,解压之后把三个文件夹复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0,然后不要忘了在环境变量中的用户变量中的Path中添加“C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0”
14完成了环境的配置!!!简单测试一下吧。
import tensorflow as tf
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
这样看到你的显卡设备就可以认为已经装好环境了!
PS:特别鸣谢hefei老师在安装tensorflow过程中的指导。为了描述我所安装的版本号,我又一次在cmd中输入了“pip install tensorflow”这次,我忘记了【-gpu】所以之后的运行过程中,gpu的信息就不见了。解决方案是将这2个tensorflow 都卸载了:分别使用
pip uninstall tensorflow
pip uninstall tensorflow-gpu
之后再进行安装。
老师还提到了对使用哪个显卡进行设置的问题,因为笔记本电脑的显卡有独立显卡和集成显卡的区分。我印象中在之前的设备调试中有过设置,具体的已经忘记,如果遇到类似找不到gpu的情况还请大家对显卡的选用进行考虑。
总结:不要随便安装包,以免覆盖;删东西要彻底,删了一个再删一个;多问他人。更重要的是,应该边做边记,这样有利于学习总结。做完了再记,很多细节都已经忘了。