深度学习环境搭建

@T深度学习开发环境搭建OC
深度学习开发环境搭建
一、 环境搭建 1
1、 安装NVIDIA显卡驱动 1
2、 安装CUDA库 2
2.1 安装依赖库: 2
2.2 下载CUDA8.0安装包 3
2.3 安装cuda8.0补丁包 4
2.4添加环境变量声明 4
2.5 配置cuda环境变量: 5
2.6 测试cuda的samples 5
3、 安装cuDNN库 5
3.1 下载cudnn 5
3.2 配置cuDNN库 6
4、 安装Opencv库以及contrib包 7
4.1 下载opencv3.2.0和opencv_contrib 7
4.2 安装依赖库 7
4.3 cmake配置opencv3.2.0库 7
4.4 编译安装opencv3.2.0库 8
4.5 配置opencv链接库 8
5、 安装Caffe框架 8
5.1 安装依赖库 8
5.2 下载caffe 9
5.3 修改caffe配置文件 9
5.4 编译caffe 10
5.5 编译pycaffe接口 10
5.6 配置caffe环境变量 11
6、 安装Clion软件 11
6.1 下载Clion-2017.3.2 11
6.2 安装Clion 11

一、 环境搭建
1、 安装NVIDIA显卡驱动
首先从nvidia官网查看适合服务器GPU的显卡驱动版本:
http://www.nvidia.com/Download/index.aspx?lang=en-us

查到版本号之后,执行下面的命令
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-390(390是查到的版本号)
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev
执行完上述命令之后,重启系统。
重启后输入命令:
nvidia-smi
若出现了系统GPU列表,则说明驱动安装成功。
同时也可以通过执行如下命令验证,若出现NVIdia X Server Settigs窗口则说明驱动安装成功:
nvidia-settings
至此,NVIDIA显卡驱动安装完毕。

2、 安装CUDA库
这里以cuda8.0举例
2.1 安装依赖库:
sudo apt-get install freeglut3-dev build-essential
sudo apt-get install libx11-dev libxmu-dev
sudo apt-get install libxi-dev libgl1-mesa-glx
sudo apt-get install libglu1-mesa libglu1-mesa-dev
2.2 下载CUDA8.0安装包
https://developer.nvidia.com/cuda-80-ga2-download-archive

选择runfile(local)类型的安装包下载,安装包和补丁包一起下载:

下载完成后,执行命令:
sudo sh cuda_8.0.61_375.26_linux.run
注意:执行上述命令会有一系列安装提示让您确认,但第二项要注意,提示让您选择是否安装nvidia 375.26驱动,一定选择否:
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
2.3 安装cuda8.0补丁包
同样地方式执行命令:
sudo sh cuda_8.0.61.2_linux.run
同样有一系列提示需要确认,选择安装目录和cuda8.0安装一样即可以
2.4添加环境变量声明
执行下面的命令:
gedit ~/.bashrc
在打开的~/.bashrc文件添加下面两句语句:
export PATH=/usr/local/cuda-8.0/binKaTeX parse error: Expected '}', got 'EOF' at end of input: {PATH:+:{PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64KaTeX parse error: Expected '}', got 'EOF' at end of input: …LIBRARY_PATH:+:{LD_LIBRARY_PATH}}
若cuda8.0不是安装在/usr/local/cuda-8.0下则需要修改为相应的路径,保存退出。
2.5 配置cuda环境变量:
sudo gedit /etc/profile
在打开的/etc/profile文件添加下面的语句:注意等号两边不能有空格
export PATH=/usr/local/cuda/bin:$PATH
保存退出后,创建链接文件:
sudo gedit /etc/ld.so.conf.d/cuda.conf
在打开的文件中添加如下语句:注意路径为相应的安装路径
/usr/local/cuda/lib64
保存退出后执行命令使链接生效:
sudo ldconfig
2.6 测试cuda的samples
执行下面的命令:
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
make
sudo ./deviceQuery
若出现GPU信息则表示配置成功。
3、 安装cuDNN库
这里以cuDNN V5.1举例
3.1 下载cudnn
https://developer.nvidia.com/rdp/cudnn-archive

由于V5和V6以上版本具有较大差别,常用V5.1版本,选择上图第三个选项。
下载cuDNN包需要注册nvidia账号,本人已经注册过,所以可以直接下载,安装包在附件中。
下载完成后,解压:
tar zxvf cudnn-8.0-linux-x64-v5.1.tgz
3.2 配置cuDNN库
进入cudnn5.1解压之后的include目录,执行命令:
sudo cp cudnn.h /usr/local/cuda/include/
再进入lib64目录下对动态文件进行复制和链接:(5.1.10为对应版本具体可修改)
sudo cp lib* /usr/local/cuda/lib64/
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.5
sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #生成软衔接
sudo ln -s libcudnn.so.5 libcudnn.so #生成软衔接
4、 安装Opencv库以及contrib包
这里以opencv 3.2.0举例
4.1 下载opencv3.2.0和opencv_contrib
opencv3.2.0:链接: https://pan.baidu.com/s/1jHRSsYU 密码: dhym
opencv_contrib:链接:https://pan.baidu.com/s/1eSrIOtc 密码: naah
opencn_ ippicv_linux_20151201.tgz: http://download.csdn.net/detail/cupidyzw97/9892881
opencn_ ippicv_linux_20151201.tgz后面可能会由于网络不好,导致编译时下载不聊一而出现的问题所用到的文件,该文件应放在/opencv-3.2.0/3rdparty/ippicv/downloads/linux-808b791a6eac9ed78d32a7666804320e
4.2 安装依赖库
执行命令:
sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
4.3 cmake配置opencv3.2.0库
将下载好的opencv包提取到自己指定的目录下,命名为opencv320(自定义),同时将opencv_contrib.zip提取到opencv320目录下,同时在该目录下新建一个文件夹build。
进入build目录
cd opencv320/build
执行cmake生成makefile文件
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local -D OPENCV_EXTRA_MODULES_PATH=/home /opencv320/opencv_contrib/modules/ …
注意:别忘记了最后两点点,这是表示cmake上层目录,同时opencv_contrib包的路径改为自己的相应路径,如不需要opencv_contrib包,则不需要该路径。
其中/usr/local表示opencv的安装路径。
如在cmake过程中遇到opencn_ ippicv_linux_20151201.tgz下载失败,则可以用预先准备的opencn_ ippicv_linux_20151201.tgz放到指定目录,即:
/opencv320/3rdparty/ippicv/downloads/linux-808b791a6eac9ed78d32a7666804320e
4.4 编译安装opencv3.2.0库
当cmake成功生成Makefile文件之后,下一步继续在build目录下make编译opencv库,执行命令:
sudo make -j8 #8线程编译
编译成功后,下一步进行安装,在这里采用checkinstall工具安装:
sudo apt-get install checkinstall
sudo checkinstall #安装
使用checkinstall的目的是为了更好的管理安装的opencv,因为opencv的安装很麻烦,卸载更麻烦,其安装的时候修改了一大堆的文件,当我想使用别的版本的opencv时,将当前版本的opencv卸载就是一件头疼的事情,因此需要使用checkinstall来管理我的安装。执行了checkinstall后,会在build文件下生成一个以backup开头的.tgz的备份文件和一个以build开头的.deb安装文件,当你想卸载当前的opencv时,直接执行dpkg -r build即可。
4.5 配置opencv链接库
执行命令:
sudo /bin/bash -c ‘echo “/usr/local/lib” > /etc/ld.so.conf.d/opencv.conf’
sudo ldconfig
5、 安装Caffe框架
5.1 安装依赖库
执行命令:
sudo add-apt-repository universe
sudo apt-get update
sudo apt-get install cmake

General Dependencies

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev
sudo apt-get install libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev

BLAS

sudo apt-get install libatlas-base-dev

Remaining Dependencies

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install python-dev python-numpy python-pip python-scipy
5.2 下载caffe
git clone https://github.com/BVLC/caffe.git
5.3 修改caffe配置文件
cd caffe
cp Makefile.config.example Makefile.config
修改Makefile.config:
gedit Makefile.config
对打开的文件编辑修改如下,反注释三条语句:

cuDNN acceleration switch (uncomment to build with cuDNN).

USE_CUDNN := 1

Uncomment if you’re using OpenCV 3 如果用的是opencv3版本

OPENCV_VERSION := 3

Uncomment to support layers written in Python (will link against Python libs)

WITH_PYTHON_LAYER := 1
在文件里面添加文本由于hdf5库目录更改,所以需要单独添加:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
LIBRARY_DIRS := ( P Y T H O N L I B ) / u s r / l o c a l / l i b / u s r / l i b / u s r / l i b / x 8 6 6 4 − l i n u x − g n u / h d f 5 / s e r i a l / 保 存 退 出 , 并 打 开 m a k e f i l e 文 件 进 行 修 改 : g e d i t M a k e f i l e 将 N V C C F L A G S + = − c c b i n = (PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial/ 保存退出,并打开makefile文件进行修改: gedit Makefile 将 NVCCFLAGS +=-ccbin= (PYTHONLIB)/usr/local/lib/usr/lib/usr/lib/x8664linuxgnu/hdf5/serial/退makefilegeditMakefileNVCCFLAGS+=ccbin=(CXX) -Xcompiler-fPIC ( C O M M O N F L A G S ) 替 换 为 N V C C F L A G S + = − D F O R C E I N L I N E S − c c b i n = (COMMON_FLAGS) 替换为 NVCCFLAGS += -D_FORCE_INLINES -ccbin= (COMMONFLAGS)NVCCFLAGS+=DFORCEINLINESccbin=(CXX) -Xcompiler -fPIC KaTeX parse error: Expected 'EOF', got '#' at position 129: …ost_config.h 将 #̲error-- unsuppo…PYTHONPATH
保存退出,使链接生效:
source ~/.bashrc
6、 安装Clion软件
6.1 下载Clion-2017.3.2
http://www.jetbrains.com/clion/download/#section=linux
6.2 安装Clion
解压安装包:
tar -xzvf CLion-2017.3.2.tar.gz
解压完成后进入到bin目录,执行:
./clion.sh
之后根据提示安装即可,到达要输入license的界面后,选择“Aactivation code”,此时需要获得激活码填进去。
注意:获取激活码之前,需要进行一步操作,打开ubuntu系统文件,
sudo vim /etc/hosts
将0.0.0.0 account.jetbrains.com添加在hosts文件最后,即可以获取有效激活码。
获取激活码的网址:http://idea.lanyus.com/
打开后显示如下,

点击获得激活码选项,即可得到激活码,将激活码填入到Clion安装步骤的激活码框中,点击激活完成安装。
至此,深度学习环境搭建成功

欢迎使用Markdown编辑器

你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:

  1. 全新的界面设计 ,将会带来全新的写作体验;
  2. 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
  3. 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
  4. 全新的 KaTeX数学公式 语法;
  5. 增加了支持甘特图的mermaid语法1 功能;
  6. 增加了 多屏幕编辑 Markdown文章功能;
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
  8. 增加了 检查列表 功能。

功能快捷键

撤销:Ctrl/Command + Z
重做:Ctrl/Command + Y
加粗:Ctrl/Command + B
斜体:Ctrl/Command + I
标题:Ctrl/Command + Shift + H
无序列表:Ctrl/Command + Shift + U
有序列表:Ctrl/Command + Shift + O
检查列表:Ctrl/Command + Shift + C
插入代码:Ctrl/Command + Shift + K
插入链接:Ctrl/Command + Shift + L
插入图片:Ctrl/Command + Shift + G
查找:Ctrl/Command + F
替换:Ctrl/Command + G

合理的创建标题,有助于目录的生成

直接输入1次#,并按下space后,将生成1级标题。
输入2次#,并按下space后,将生成2级标题。
以此类推,我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的:

项目 Value
电脑 $1600
手机 $12
导管 $1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列 第二列 第三列
第一列文本居中 第二列文本居右 第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:

TYPE ASCII HTML
Single backticks 'Isn't this fun?' ‘Isn’t this fun?’
Quotes "Isn't this fun?" “Isn’t this fun?”
Dashes -- is en-dash, --- is em-dash – is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n1)!nN 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=0tz1etdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能,丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法,参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图:

张三 李四 王五 你好!李四, 最近怎么样? 你最近怎么样,王五? 我很好,谢谢! 我很好,谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆角长方形
菱形
  • 关于 Mermaid 语法,参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图:

Created with Raphaël 2.2.0 开始 我的操作 确认? 结束 yes no
  • 关于 Flowchart流程图 语法,参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
继续你的创作。


  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

你可能感兴趣的:(深度学习)