深度学习语义分割马拉松002——深度学习环境配置
深度学习环境配置
- 1. 背景
- 2. 系统相关配置
- 3. 安装显卡驱动
- 4. 安装CUDA
- 5. 安装Anaconda
- 6. 更新Python的库
- 7. 总结
- 8. TODO
- 9. 下载链接
- DFTBA
1. 背景
本篇这里继续上一篇的内容，在系统配置完成后，开始配置深度学习的相关环境，在这些配置完成后，便可以直接运行相关的深度学习算法了，这里对应的是keras，tensorflow的相关框架的配置。
相应的系统盘和软件等会在最后给出百度云的链接
2. 系统相关配置
这里主要是为了之后配置相关系统文件方便，需要先安装一下文件编辑器vim（vim是世界上最好的文件编辑器，如果你知道怎么退出的话，hhhhh）
这里输入命令
sudo apt-get install vim
3. 安装显卡驱动
由于默认下，Ubuntu安装的是开源的显卡驱动，而我们需要Nvidia的专用显卡驱动，这样才能使用CUDA，所以我们要先安装专用的驱动。其实直接在设置中也可以直接通过点击来安装Nvidia的驱动，不过默认的官方为384的驱动，但是CUDA10所需要的驱动型号为418及以上，所以这类还需要手动安装Nvidia驱动。
一般来讲网上一般说的从Nvidia官网上把相应的驱动下载后，还要关闭开源的驱动进到tty1再安装什么的，这对于新手过于难了。所幸的是Nvidia已经有成熟的deb包可以直接使用apt-get进行安装。不过这里由于驱动较大，所以直接进行apt-get来进行安装的话很有可能会下载不下来。这里在百度盘上我已经把相应的文件上传上去，大家只需要把安装的deb包下载，然后使用下边命令进行安装即可。
这里要使用的是nvidia-418_418.56-0ubuntu0~gpu16.04.1_amd64.deb
sudo dpkg -i nvidia-418_418.56-0ubuntu0~gpu16.04.1_amd64.deb
但是这里会报一个错误，显示依赖错误，我们只需在运行下边的命令就可以自动解决依赖问题，并安装好相应的驱动
sudo apt-get install -f
除了这个驱动之外，还有两个其他相应的deb包也需要安装
sudo dpkg -i nvidia-opencl-icd-418_418.56-0ubuntu0~gpu16.04.1_amd64.deb
这里会发现也出现依赖问题，同样的使用下边的语句来安装
sudo apt-get install -f
另一个deb包安装如下
sudo dpkg -i libcuda1-418_418.56-0ubuntu0~gpu16.04.1_amd64.deb
然后就可以进行显示的配置，为什么在这里进行显示的配置而不是系统安装后就进行配置，主要是因为当显卡驱动更新后，之前的显示配置就会失效。路径在全部设置->显示中，我的显示器来讲，一般习惯1920x1080，缩放比例为1.38，这里主要根据你自己的屏幕来设定
为了验证安装的是否成功，这里使用下边的命令就可以看到结果。注意的是，里边的型号，显存数等会根据不同的显卡得到不同的数据，这里我是用笔记本做的，可以看出显卡能力很弱。
nvidia-smi
4. 安装CUDA
在安装完相关驱动之后，所有的框架都会依赖于Nvidia的CUDA，这也是GPU加速的关键技术。同时，tensorflow1.13所需要的是CUDA10，所以这里我们会来安装CUDA10，相应的软件也已经上传到了百度云上。
网上有好几种不同的安装包形式，相对来讲.run格式的最为方便。这里需要root权限，所以会加上sudo
sudo bash cuda_10.0.130_410.48_linux.run
首先，这里会有相关的版权说明之类的用户协议，按q就可以退出
然后，就是需要你输入accept回车确认来同意相应的用户协议
接下来会询问你是否要安装驱动，我们之前已经安装过相应的驱动了，所以这里输入no回车。这里可能有疑问，既然这里会安装驱动为什么我们还要单独安装驱动，主要是这里的驱动一般都安不上。。。
下一步会询问是否要安装CUDA的Toolkit，这正是我们需要安装的，输入yes并回车
之后会询问是否建立链接文件，把cuda也链接到cuda10上，这里这种链接在配置文件时候会很方便，所以这里也输入yes回车
再下一步，会询问你是否要安装CUDA的示例程序，这个即比较大又没有意义，所以我们就输入no回车，不进行安装了
最后这里就会飞速的开始进行安装，然后CUDA就安装完毕了，最终显示如下
5. 安装Anaconda
我们现在要开始配置Python环境。我们会使用Anaconda也就是一个Python的环境软件，基于Anaconda可以减少很多难按照的Python库的问题。
我们基于的是Anaconda3.5.2这个版本。
bash Anaconda3-5.2.0-Linux-x86_64.sh
回车之后我们会看到如下的说明
我们回车继续
这里是相应的版权说明，我们输入q，然后这里输入yes回车
这里是询问我们安装的位置，直接回车即可
这里便开始安装了
在全部安装之后，这里会询问是否按照环境变量，输入yes回车继续
然后是商业推广的VSCode，Pycharm天下第一不接受反驳！！！这里填no回车继续
为了让Anaconda的配置生效，这里输入
source ~/.bashrc
至此，你输入python应该可以看到Anaconda的信息
6. 更新Python的库
目前，我们的库都是基于Anaconda的环境，但是真正深度学习的许多依赖的库并不在，所以仍需要更新安装一些必要的Python库。这里我们一般会用requirement.txt文件安装，但是一般这样的话需要在线按照，哪怕使用清华的源依然不够快，而且有时会自己断掉。
所以这里我直接在本地写了脚本并把所需要的包都下载下来，所以甚至可以达到离线安装。
只需要输入一下命令即可
python install_local.py
会发现就已经自动开始按照，而且由于调整过安装的顺序，所以这里会一直安装而不设计从网上下载等。
最后会显示一共使用的时间
至此环境配置已经完成
7. 总结
本篇主要讲了下如何在Ubuntu下配置CUDA以及Python的环境，有任何问题可以进行留言
8. TODO
- 深度学习环境配置
- 分割网络简介
9. 下载链接
这里是可能用到的相关软件的下载，大家也都可以网上下载到，不过有的软件可能下载起来比较慢，这里我放到百度云一些，可以快一些下载下来
链接:https://pan.baidu.com/s/1i2ENwzLteesNghuupLnf8Q 提取码:8530