【深度学习】Ubuntu 常用软件安装:Tensorflow + TeamViewer + Caffe + ... + Matlab

【UpdateTime:20180212】

(原文由于写了几个敏感词汇,被强制删除了,特此重新整理一篇)

2017.05.25:根据实践过程,整理了第一版。

2017.12.22:由于第一版涉及几个敏感词汇,博文被强制移到回收站,重新整理一篇。

2018.01.05:增加了 matlab2017 for ubuntu 的相关参考链接。

2018.02.12:基于Anaconda安装pytorch。

2018.04.17:deeplearning.ai 学习资料和链接,machine learning 学习资料。

2018.05.17:Jupyter 安装 ||| Anaconda 各个版本安装包。

2018.10.12:重新排版(- -CSDN界面改版后,以前很多博文的版面都乱了,难受)

 

重要链接:

  • CUDA各个版本下载地址:https://developer.nvidia.com/cuda-toolkit-archive

一、本文目的

由于最近刚正式接触Ubuntu系统,刚入门的我,一开始也是尝试装软件、配环境、解决bug、整理文档,然后分享。

本文主要分为几大软件模块的安装,如下所示:

1、常用工具:浏览器、XX-net、TeamViewer、htop、guake、crossover、git、sound-of-sorting、Adobe flash player

2、编程工具:Matlab、Sublime、texlive、Anaconda

3、机器学习 && 深度学习:CUDA、Tensorflow、Caffe

本文主要以“简洁的命令行安装命令”+“参考网址”的模式进行整理,方便大家参考,以免内容太多(存在太多冗余的话)。此外,如果有比较负责的环境需要安装和配置,会另整博文进行分享,比如“安装和配置GPU版本的Tensorflow和Caffe”等。本文还会尽量将遇到的问题和解决方案附上,如后续有其他相似的问题,会继续补充完善。读者们可以观察本文开头的 UpdateTime 获知更新的时间。

(本文尽量不贴图,以减少文章篇幅,必要的时候再贴几张图)

本文常用的参考网址如下【To be continue...】:

1、Linux公社:http://www.linuxidc.com/

2、CSDM博文:如,http://blog.csdn.net/Houchaoqun_XMU/

3、deeplearning.ai:https://mooc.study.163.com/university/deeplearning_ai#/c

4、deep learning & machine learning 学习资料:https://github.com/fengdu78/deeplearning_ai_books

 

二、常用命令:

1、查看系统环境变量:

sudo gedit ~/.bashrc  
export PATH="/home/hcq/anaconda3/bin:$PATH"  
source ~/.bashrc  

2、文件的解压缩:

1)【tar -czf all.tar.gz *.jpg】将所有.jpg的文件打成一个tar包,并且将其用gzip压缩,生成一个gzip压缩过的包,包名为all.tar.gz

2)【tar -xzf all.tar.gz】解压all这个包

参考网址:

== Linux下各种压缩文件的解压方法:http://blog.csdn.net/choice_jj/article/details/8020158

== 初窥Linux 之 我最常用的20条命令:http://blog.csdn.net/ljianhui/article/details/11100625

3、NVIDIA

1)查看NVIDIA信息:nvidia-smi

2)每隔t秒刷新一下NVIDIA的信息(可查看显存使用情况等):watch -n 10 nvidia-smi

4、gedit

简介:gedit是一个GNOME桌面环境下兼容UTF-8的文本编辑器。它使用GTK+编写而成,因此它十分的简单易用,有良好的语法高亮,对中文支持很好,支持包括gb2312、gbk在内的多种字符编码。

1)打开(指定文件)可视化编辑界面,如:sudo gedit Makefile.config

2)具体用法参考:http://linux.51yip.com/search/gedit

5、uname -m && cat /etc/*release:查看系统信息

x86_64  
DISTRIB_ID=Ubuntu  
DISTRIB_RELEASE=16.04  
DISTRIB_CODENAME=xenial  
DISTRIB_DESCRIPTION="Ubuntu 16.04.2 LTS"  
NAME="Ubuntu"  
VERSION="16.04.2 LTS (Xenial Xerus)"  
ID=ubuntu  
ID_LIKE=debian  
PRETTY_NAME="Ubuntu 16.04.2 LTS"  
VERSION_ID="16.04"  
HOME_URL="http://www.ubuntu.com/"  
SUPPORT_URL="http://help.ubuntu.com/"  
BUG_REPORT_URL="http://bugs.launchpad.net/ubuntu/"  
VERSION_CODENAME=xenial  
UBUNTU_CODENAME=xenial  

6、Ubuntu 查看当前目录使用的总空间大小

1)查看当前目录使用的总空间大小:

du -h --max-depth=0

2)查看当前目录下某文件使用空间大小:

du -h --max-depth=1 文件名

注:”--max-depth=“指定深入目录的层数(如果不使用该参数,则会循环列出当前目录下所有文件及文件夹使用的空间大小,文件多时会很乱):

(1) --max-depth=0:查看当前目录使用的总空间大小; 

(2) --max-depth=1:查看当前目录使用总空间的大小以及当前目录下一级文件及文件夹各自使用的总空间大小;

参考网址:http://blog.csdn.net/u010555688/article/details/51386697

7. Ubuntu,自动关机

sudo shutdown +100    // 表示电脑在100分钟后关机

8. 查看版本

1)查看 tensorflow 版本:

import tensorflow as tf
tf.__version__

2)查看 keras 版本:

import keras
print keras.__version__

3)查看 PyTorch 版本:

import torch
print(torch.__version__)  #注意是双下划线

9. Vim 配色:

https://blog.csdn.net/myHelperIsMe/article/details/49700715

10. 安装 requirements.txt

pip install -r requirements.txt

## requirements.txt 内容
git+https://github.com/mila-udem/blocks.git@979d0f97e154f4ceeefeef0ae4d6957d526ee8ba
Theano==0.9.0
fuel==0.2.0
h5py==2.7.1
Keras==2.0.8
matplotlib==2.1.0
numpy==1.9.3
picklable-itertools==0.1.1
Pillow==4.3.0
progressbar2==3.6.0
pyparsing==2.2.0
scikit-learn==0.19.0
scipy==0.19.1
six==1.11.0
sklearn==0.0
toolz==0.7.2
./ALI

 

、常用工具:

【chrome】参考网址:http://www.linuxidc.com/Linux/2016-05/131096.htm

Ctrl + Alt + t  // 打开终端
sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/
wget -q -O - https://dl.google.com/linux/linux_signing_key.pub  | sudo apt-key add -
sudo apt-get update
sudo apt-get install google-chrome-stable
/usr/bin/google-chrome-stable

【fcitx】 

1、参考网址:https://jingyan.baidu.com/article/4b07be3c60da3f48b380f3f0.html

2、打开终端并输入命令:sudo apt-get install fcitx-table-wbpy

3、ubuntu系统默认的是ibus,安装完fcitx后,系统设置 -- 语言支持 -- 键盘输入法系统 -- 选择【fcitx】-- 重启系统。

【搜狗输入法】

1、官网:http://pinyin.sogou.com/linux/
2、在官网直接选择相应的安装包下载.deb文件,然后直接打开安装。
3、需要配置的话,可通过Fcitx配置。

常见错误:

1、成功安装完搜狗输入法后,不能切换到搜狗输入法。

解决方案:系统设置 -- 语言支持 -- 键盘输入法系统 -- 选择【fcitx】-- 重启系统即可。

参考网址:Ubuntu下安装搜狗输入法已经fcitx升级后搜狗输入法不能使用的解决办法:http://www.linuxidc.com/Linux/2013-04/83058.htm

2、下载.deb安装包后,点击install,没反应。

解决方案:更新Ubuntu系统的“软件安装器”,搜索“software updater”进行更新,更新完后再次点击安装【搜狗输入法】,程序会正常安装,最后再重启系统即可。

【虚拟机 - vmware tools】

1、参考网址:https://jingyan.baidu.com/article/93f9803f0d9d9be0e46f55ce.html

2、安装步骤如下:

1)加载VMware Tools安装光盘,打开虚拟机VMware Workstation,启动 Ubuntu 系统 菜单栏 - 虚拟机 - 安装VMware Tools

2)打开加载的VMwareTools光盘,鼠标右键 VMwareTools-*.tar.gz 文件,提取到系统盘下的文件夹

3)Ctrt+Ait+T快捷打开终端,终端输入 sudo su 回车切换到root权限下

4)输入 cd ./Documents/vmware-tools-distrib 回车(d与/之间有空格) 

5)输入 ./vmware-install.pl 回车,即开始安装

6)期间很多需要你确认的yes或者no

7)回车直到你看到 Enjoy, --the VMware team 关闭终端,重起电脑安装完成

遇到的问题整理:

1、打不开磁盘“C:\Users\lenovo\Documents\Virtual Machines\Ubuntu64-DL\Ubuntu64-... ...

== 原因:因为虚拟机在运行的时候,会锁定文件,防止被修改,而如果突然系统崩溃了,虚拟机就来不急把已经锁定的文件解锁,所以你在启动的时候,就会提示无法锁定文件。

== 解决方案:在你的虚拟机的安装目录下,搜索 【.lck】找到所有相关文件并删除即可。

== 参考网址:http://www.2cto.com/os/201411/355373.html

【XX-net】

简介:XX-net是一款免费的 XX 软件,用户可以通过申请Google邮箱并注册相关的appID获取免费 XX 的流量。

1、git clone [email protected]:XX-net/XX-Net.git 将最新的XX-net相关代码克隆到本地。

2、设置chrome代理:

3、详情参考网址(打开链接后,下面有中文文档):https://github.com/XX-net/XX-Net

【TeamViewer】

简介:TeamViewer是一款强大的远程操控软件,提供支持与协助,并与他人互动合作、彼此交换信息、访问和使用技术。

1、直接到官网下载安装包,也可以从这里下载(我的百度云网盘)

2、直接点击安装

3、如有遇到中文显示问题,可下载文字包解决(直接百度或google就行)- 参考网址:

https://chenkaihua.com/2015/12/21/solve-the-problem-of-linux-ubuntu1404-use-teamviewer-chinese-garbled/

步骤如下:

1)输入命令【wget http://down5.pc6.com/qd3/simsun.zip】// windows上或者网络上下载宋体字体(simsun.ttc,simsun.ttf)

2)输入命令【unzip simsun.zip】// 解压

3)输入命令【sudo cp simsun.tt* /opt/teamviewer/tv_bin/wine/share/wine/fonts/】// 把字体复制到/opt/teamviewer/tv_bin/wine/share/wine/fonts目录

== teamviewer设置默认密码 - 参考网址:http://jingyan.baidu.com/article/fdffd1f8478b67f3e98ca18d.html

== teamviewer 商用问题:https://blog.csdn.net/gaowu959/article/details/80460815

【htop】

参考网址:

  • http://www.open-open.com/lib/view/open1417612210323.html
  • http://blog.csdn.net/sd4015700/article/details/22166339

简介:top是Linux下常用的监控程序,htop相当于其加强版,颜色显示不同参数,且支持鼠标操作,相对于top简单和人性化。

1、打开系统终端:ctrl + alt + T

2、执行:sudo apt-get install htop

3、在终端输入htop即可

效果图如下所示:

【深度学习】Ubuntu 常用软件安装:Tensorflow + TeamViewer + Caffe + ... + Matlab_第1张图片

【guake】参考网址:http://www.2cto.com/os/201410/343251.html

简介:Guake是一个下拉式的gnome桌面环境下的终端程序,因此你只需要按一个键就可以调用他,然后再按一次以便隐藏他。Guake支持快捷键、标签、背景透明等特性。

1、官网:http://guake-project.org/;github源码:https://github.com/Guake/guake

2、执行命令:sudo apt-get install guake

3、使用F1即可打开或者关闭guake终端

更改guake的快捷键(默认是F12,想把它改成F1),参考网址:http://server.zol.com.cn/523/5235851.html

【crossover】参考网址:

简介:CrossOver Linux 16 让您可以在 Linux 系统上运行 Microsoft Windows 应用,而不必购买 Windows 授权,不必重启系统,不必使用虚拟机。通过 CrossOver Linux,您可以轻松地从桌面开启 Windows 应用,并且与 Linux 系统的功能高度集成,实现跨平台的复制粘帖和文件互通。

1、官网:https://www.codeweavers.com/

2、注册并下载试用版:https://www.codeweavers.com/products/crossover-linux/download

3、直接运行安装后,进行破解,本文在此分享了破解所需文件和方法,如下所示:

  • 破解文件下载网址:http://download.csdn.net/detail/houchaoqun_xmu/9851173(1个积分,如有读者没有积分,可联系我哈)【20181012:资源好像被和谐了】
  • 破解方法:打开终端执行【sudo cp winewrapper.exe.so /opt/cxoffice/lib/wine/】(readme.txt文档里有)

【git】参考网址:http://blog.csdn.net/yhl_leo/article/details/50760140

简介:Git是一款免费、开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目。

1、官网:https://git-scm.com/

2、安装git:

1)打开终端并依次输入如下命令:

sudo add-apt-repository ppa:git-core/ppa
sudo apt-get update
sudo apt-get install git

2)安装成功后查看git版本:

【OpenGL】参考网址:http://blog.csdn.net/zhangliang_571/article/details/25241911 (附有实例代码)

sudo apt-get install build-essential
sudo apt-get install libgl1-mesa-dev
sudo apt-get install libglu1-mesa-dev
sudo apt-get install libglut-dev( 如果出现错误换成如下命令:sudo apt-get install freeglut3-dev )

【GoldenDict】

简介:GoldenDict 是一款不错的、与StarDict(星际译王)类似的词典软件。goldendict可查询Wikipedia、Wiktionary 等基于 MediaWiki 的 Wiki 网站,且能够通过模板 Url模式来使用其他的在线词典网站;具有基于 Hunspell 的 morphology 系统;包含完整的 Unicode支持、scan 弹窗及全局热键等功能。

安装步骤如下:

1、该软件尚未尝试,待亲测后再进行更新。

参考网址:

1)Ubuntu 14.04 下编译、安装、配置最新开发版 GoldenDict:http://www.linuxidc.com/Linux/2015-10/124459.htm

2)github:https://github.com/goldendict/goldendict

3)GoldenDict官网:http://goldendict.org/

【sound-of-sorting】

简介:"Sound of Sorting" 是一个演示程序,包含很多整数排序算法,通过可视化的方式展示整个排序的过程,让开发者可以非常清楚排序的远离。动画的速度和声效可进行定制。使用 wxWidgets 和 SDL 开发,支持跨平台。

参考网址:

1)主页:http://panthema.net/2013/sound-of-sorting/

2)github:https://github.com/bingmann/sound-of-sorting

效果如下所示:

【Adobe flash player】

1、打开终端:ctrl + alt + t

2、sudo apt-get update

3、sudo apt-get install flashplugin-installer

4、重启浏览器即可

ksnapshotubuntu 系统下的截图工具

打开终端并输入如下命令:

sudo apt-get install ksnapshot  

参考网址:https://jingyan.baidu.com/article/948f59242f7a1cd80ff5f933.html

【如何将Ubuntu主文件夹里的中文文件夹(如,下载,音乐等)名称改成英文】

简介:为了在终端方便的使用,(对了选择了ubuntu中文版的用户)自然在home文件里用户目录的“桌面”、“图片”、“视频”、“音乐”……都是中文的,使得在终端切换到对应目录的时候比较麻烦。所以很有必要将中文文件名改为英文,方便后续使用。

参考网址:http://blog.csdn.net/l0605020112/article/details/20285239

步骤如下:

ctrl + alt + t  ## 打开终端
export LANG=en_US
xdg-user-dirs-gtk-update    ## 跳出对话框询问是否将目录转化为英文路径,同意并关闭.
export LANG=zh_CN
关闭终端,并重起。下次进入系统,系统会提示是否把转化好的目录改回中文.选择不再提示,并取消修改.主目录的中文转英文就完成了。

【CMake

官网:https://cmake.org/install/

github:https://github.com/Kitware/CMake

git clone https://github.com/Kitware/CMake
./boostrap
make -j8 (8表示线程数)
sudo make install

 

四、编程工具

【Matlab】

Matlab2017a for ubuntu:链接:https://pan.baidu.com/s/1eSF9Gbw 密码: 571f

Reference:http://blog.csdn.net/u011713358/article/details/69659265

【Sublime】

参考网址:https://jingyan.baidu.com/article/cbcede07ca0be202f40b4d09.html

简介:Sublime Text 是一个代码编辑器,也是HTML和散文先进的文本编辑器。具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

1、添加Sublime-text-3软件包的软件源:sudo add-apt-repository ppa:webupd8team/sublime-text-3

2、更新系统软件源:sudo apt-get update

3、安装Sublime-text-3:sudo apt-get install sublime-text-installer(如果失败的话,可再执行这条语句尝试一下)

4、在Dash Home中搜索Sublime即可见到图标,表示安装成功。

 

注:如果你编辑的文件夹具有权限问题,你可以尝试给当前用户赋予该文件的执行权限即可。

== 现象:你每次保存编辑的内容,都需要输入密码。

== 解决:sudo chown -R 'hcq' xxx 表示改变文件xxx及其子目录下所有文件对于用户hcq的执行权限(改变指定目录以及其子目录下的所有文件的拥有者和群组)

== 例如:本人从github上clone下的caffe源码需要sudo的执行权限,于是每次修改源码并报错后都要输入密码,很麻烦。最后使用上述方法解决该问题。

- ubuntu下使用 sublime text 时如何完美输入中文: http://www.jb51.net/article/76011.htm 

- sublime text 3 更换字体颜色:https://www.zhihu.com/question/31980899?sort=created

 

【Jupyter】参考网址:http://jupyter.org/install

If you have Python 3 installed (which is recommended):如果是python3版本(推荐),输入如下命令:

python3 -m pip install --upgrade pip
python3 -m pip install jupyter

If you have Python 2 installed:如果是python2版本,输入如下命令:

python -m pip install --upgrade pip
python -m pip install jupyter

输入如下命令,运行 jupyter:

jupyter notebook

【texlive】

参考网址:https://jingyan.baidu.com/article/7c6fb4280b024180642c90e4.html

简介:LaTeX是一款强大的排版系统,尤其在编辑复杂的数学公式时具有其他软件无法比拟的优势。安装和配置texlive后就可以在Ubuntu下使用LaTeX了。

1、LaTeX的基础环境:sudo apt-get install texlive-full

2、Latex编辑器:sudo apt-get install texmaker

3、打开终端,直接输入:texmaker 即可打开界面。

【Anaconda】

简介:Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理,并且已经包含了Python和相关的配套工具。

1、到官网下载安装包(此处选择for Linux):https://www.continuum.io/downloads/

2、cd到安装包文件所在的目录下并执行:bash Anaconda2-4.3.1-Linux-x86_64.sh

3、配置环境变量:

sudo gedit ~/.bashrc
export PATH="/home/hcq/anaconda3/bin:$PATH"
source ~/.bashrc

注:一个系统下是可以并存多个Anaconda版本的,比如我的Ubuntu系统就安装配置了Anaconda2和Anaconda3,可通过配置环境变量让系统选择相应的Anaconda版本。比如,在Caffe的实践中,Anaconda3相对与Anaconda2有比较多的问题,此时就可以切换到Anaconda2。

参考网址:

1)Anaconda使用总结:http://www.jianshu.com/p/2f3be7781451

2)Anconda各个版本安装包:https://repo.continuum.io/archive/.winzip/

【Ubuntu安装 Nvidia 显卡

1、打开【软件更新器】并更新

2、搜索【附件驱动】把“该设备正在使用推荐的驱动”改为nvidia选项,并点击【应用更改】,等待一段时间

3、重启即可。

如下图所示:

【深度学习】Ubuntu 常用软件安装:Tensorflow + TeamViewer + Caffe + ... + Matlab_第2张图片

参考网址:http://jingyan.baidu.com/article/60ccbceb50803c64cab1978c.html

注:此种方式尝试了2次,都很成功。读者也可以到英伟达官网去下载机器对应的驱动并进行安装。

 

五、机器学习 && 深度学习

【Ubuntu + CUDA + CUDNN + Tensorflow-GPU】

1、查看电脑是否有GPU:打开终端并输入【nvidia-smi】

2、安装CUDA:

== 下载对应版本的CUDA安装包(.deb文件):https://developer.nvidia.com/cuda-downloads

== cd到文件所在路径,并执行如下命令:

sudo dpkg -i cuda-repo-__.deb 
sudo apt-get update 
sudo apt-get install cuda

== 配置环境变量(sudo gedit ~/.bashrc):

export PATH=/usr/local/cuda-8.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH

== 查看显卡的驱动版本: cat /proc/driver/nvidia/version

== 查看nvcc编译器的版本: nvcc -V i

(CUDA各个版本下载地址:https://developer.nvidia.com/cuda-toolkit-archive)

3、安装CUDNN:

== 下载对应版本的CUDNN安装包(一定要看好对应的版本!!否则后面一些链接库会出错):https://developer.nvidia.com/rdp/cudnn-download

====================== cudnn-5.1-8.0 ========================

sudo tar xvf cudnn-8.0-linux-x64-v5.1.tgz
切换到 cuda/lib64 目录下:sudo cp lib* /usr/local/cuda-8.0/lib64/
切换到 cuda/include 目录下:sudo cp *.h /usr/local/cuda-8.0/include/
切换到 /usr/local/cuda-8.0/lib64 目录下:sudo chmod +r libcudnn.so.5.1.10 && sudo ln -sf libcudnn.so.5.1.10 libcudnn.so.5 && sudo ln -sf libcudnn.so.5 libcudnn.so && sudo ldconfig

## cudnn 6.0: sudo chmod +r libcudnn.so.6.0.21 && sudo ln -sf libcudnn.so.6.0.21 libcudnn.so.6 && sudo ln -sf libcudnn.so.6 libcudnn.so && sudo ldconfig

参考资料:http://blog.csdn.net/jhszh418762259/article/details/52958287?locationNum=8&fps=1

4、安装Anaconda:上文有介绍,此处假设Anaconda已经成功安装。

5、基于anaconda安装tensorflow:

1)conda create -n tensorflow
== 问题:CondaHTTPError: HTTP None None for url

== 解决方案:http://www.lqkweb.com/blog.php?id=18

== 修改conda配置:conda config(http://www.jianshu.com/p/2f3be7781451)
== sodu vim ~/.condarc
2)source activate tensorflow / source deactivate tensorflow
3)pip install --ignore-installed --upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-1.1.0-cp36-cp36m-linux_x86_64.whl
4)tensorflow_gpu-1.1.0-cp34-cp34m-linux_x86_64.whl的下载网址:https://pypi.python.org/pypi/tensorflow

5)问题:权限不够:PermissionError: [Errno 13]               

权限不够: '/home/hcq/anaconda3/lib/python3.6/site-packages/six.py'解决方案,参考网址:http://blog.csdn.net/jiangjieqazwsx/article/details/47029477,执行如下代码:

sudo chown -R 'hcq' /usr/local/lib/python3.5
sudo chown -R 'hcq' /home/hcq/anaconda3/lib/python3.6
sudo chown -R 'hcq' /home/hcq/anaconda3/

至此,tensorflow已经安装完毕,可以运行MNIST代码试试看。值得一提的是,本人电脑的显存只有2G,原始的GPU版的MNIST代码中,测试样本没有进行batch处理,而是将10000个测试样本直接存入显存(因为此处用的GPU运行程序),所以导致显存不够用而报错。本文提供一个batch处理的MNIST代码,可帮助读者进行测试。具体代码可到这里下载(读者需要先理解一下,下载好相关的MNIST数据并放到指定的文件夹中)。执行结果如下所示:

【深度学习】Ubuntu 常用软件安装:Tensorflow + TeamViewer + Caffe + ... + Matlab_第3张图片

============= 使用pip安装【tensorflow】和【tflearn】 ===============

tflearn简介:TFLearn 是一个模块化和透明的深度学习库,构建在 TensorFlow 之上。它为 TensorFlow 提供高层次 API,目的是便于快速搭建试验环境,同时保持对 TensorFlow 的完全透明和兼容性。

安装步骤如下:

1、确保当前系统有pip,本文直接安装了anaconda2集成环境,包含了大部分插件。anaconda安装教程上文有介绍,此处略。

2、pip uninstall tensorflow   //【可选】卸载系统当前的tensorflow

3、pip uninstall tflearn         //【可选】卸载系统当前的tflearn

4、pip install -I tensorflow==0.12.1    // 安装指定版本的tensorflow

5、pip instlal -I tflearn==0.2.1            // 安装指定保本的tflearn

为什么要按上述的方式安装:因为之前先安装最新版的tensorflow,再安装tflearn的时候出现版本不对应的问题。在网上找了一些资料,才发现是版本问题,所以使用上述方法安装,能成功安装对应版本的tensorflow和tflearn。

注:上述方式安装的tensorflow应该只是CPU版本的,本人尝试使用tflearn也是基于CPU去跑代码的,后续有进一步研究再整理分享出来。

========== 基于tflearn官网,使用pip安装【tensorflow】和【tflearn】 ==========

概要:由于有些代码需要更高版本的tensorflow(比如,1.0.0),上述版本不满足要求,但又想兼容tflearn。这种情况下,参考如下:

== tflearn官网:http://tflearn.org/installation/

1、export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.1.0-cp27-none-linux_x86_64.whl

2、sudo pip install $TF_BINARY_URL                   # Python 2 

     sudo pip3 install $TF_BINARY_URL                # Python 3

3、pip install git+https://github.com/tflearn/tflearn.git

== 若要直接升级,参考官网。

【20181012】别再使用pip安装TensorFlow了!用conda吧

参考网址:https://zhuanlan.zhihu.com/p/46579831

 

【keras】

安装指定版本的 keras:

pip install keras==2.0.9  

【pytorch】http://pytorch.org/

Linux+pip+python2.7+CUDA8:

pip install http://download.pytorch.org/whl/cu80/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl 
pip install torchvision 

# if the above command does not work, then you have python 2.7 UCS2, use this command 
pip install http://download.pytorch.org/whl/cu80/torch-0.3.0.post4-cp27-cp27m-linux_x86_64.whl

Linux+pip+python3.6+CUDA8:

pip install http://download.pytorch.org/whl/cu80/torch-0.3.0.post4-cp36-cp36m-linux_x86_64.whl 
pip install torchvision

【Ubuntu + CUDA + CUNDD + Caffe】

本节内容参考网址:

1)Ubuntu 16.04 安装配置Caffe 图文详解 - Linux公社:http://www.linuxidc.com/Linux/2016-12/138870.htm

2)舍友博客:http://blog.csdn.net/ying86615791/article/details/71194209

3)Caffe 深度学习入门教程:http://www.linuxidc.com/Linux/2016-11/136774.htm

4)Caffe官网:http://caffe.berkeleyvision.org/

5)在Ubuntu 14.04上配置CUDA+Caffe+cuDNN+Anaconda+DIGITShttp://www.linuxidc.com/Linux/2016-11/136775.htm

6)【深度学习】Ubuntu16.04 caffe Opencv2.4.13 GPU环境配置:http://blog.csdn.net/sinat_17196995/article/details/53466524

7)发表过CVPR-2017的作者的博客:http://zongweiz.leanote.com/post/Install-caffe-in-Ubuntu

1、CUDA、CUDNN等环境的配置参考上文(Tensorflow部分)。

2、安装和配置Caffe:

1)下载最新Caffe的源码到本地:sudo git clone https://github.com/BVLC/caffe.git

2)安装一大推第三方库,如下所示:

sudo apt-get install libatlas-base-dev libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev  
sudo apt-get install libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler  

3)caffe/python源码的目录下有个【requirements.txt】,列出了python所需的一些包,可执行如下命令进行安装:

cd /home/hcq/caffe/python

for req in $(cat requirements.txt); do pip install $req; done  (如果有权限问题的话,就改变caffe文件的执行权限  sudo chown -R 'hcq' xxx )

4)安装google-glog(不确定是不是必要的)

下载地址:https://pan.baidu.com/s/1slpjjeH 

安装步骤: 

== 将glog‐0.3.3.tar.gz这个文件拷贝到主文件夹下,即/home/hcq 文件夹下,点击鼠标右键,选择提取到此处(即是解压)

== 解压后终端输入如下命令:

cd /home/yourname/glog-0.3.3   
./configure   
sudo make   
sudo make install  

3、安装OPenCV:【UpdateTime:20170531】

======================= OpenCV3.0 +  =====================

sudo git clone https://github.com/jayrambhia/Install-OpenCV
在Install-OpenCV/Ubuntu目录下先执行命令【chmod +x *】,然后执行【./opencv_latest.sh】
cd /home/hcq/Install-OpenCV/Ubuntu/OpenCV/opencv-3.2.0
sudo mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make(编译过程需要一段时间,要到100%才算是是成功)
sudo make install

编译完,环境也自动加上了。

注意:如果使用的是openCV3.0以上的版本,caffe源码目录下的Makefile.config配置文件中,需要取消【OPENCV_VERSION := 3】的注释。

参考网址:

=== http://blog.csdn.net/fansetcool/article/details/51569374

=== http://blog.csdn.net/sinat_17196995/article/details/53466524

=== http://blog.csdn.net/houchaoqun_xmu/article/details/78565077

4、配置相关文件(Makefile.config 和 Makefile):

== 进入/usr/lib/x86_64-linux-gnu目录下,执行如下命令(否则会提示:/usr/bin/ld: 找不到 -lhdf5_hl 和 /usr/bin/ld: 找不到 -lhdf5):
1)sudo ln libhdf5_serial.so.10.1.0 libhdf5.so
2)sudo ln libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so

== 配置文件Makefile.config:

1)sudo cp Makefile.config.example Makefile.config:复制一份配置文件

2)在INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include 加上 /usr/include/hdf5/serial(空格隔开)

== 配置文件Makefile:在caffe的根目录下执行 sudo gedit Makefile 进入文件,修改如下所示:

NVCCFLAGS += -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS) #这行去掉   
#改为如下:  
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)  

5、配置python和Matlab接口:本文以Anaconda为例

打开终端,切换到Caffe目录下,输入【sudo gedit Makefile.config】命令打开Caffe的配置文件,分如下情况讨论:

1)Anaconda3:python3.6

python相关的配置如下所示:

ANACONDA_HOME := /home/hcq/anaconda3  
PYTHON_LIBRARIES := boost_python3 python3.6m  
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \  
                  $(ANACONDA_HOME)/include/python3.6m \  
                  $(ANACONDA_HOME)/lib/python3.6/dist-packages/numpy/core/include  
PYTHON_LIB := $(ANACONDA_HOME)/lib  
# Uncomment to support layers written in Python (will link against Python libs)  
WITH_PYTHON_LAYER := 1  
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial /usr/local/cuda/include  
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/local/cuda/lib64  

问题集锦:请参考另一篇整理问题集锦的博文,

解决方案:

a. 安装python caffe过程中遇到的一些问题以及对应的解决方案:http://www.cnblogs.com/TiBAi/p/6848307.html

b. caffe cpu版 Anaconda3 python 接口安装:http://blog.csdn.net/u012675539/article/details/51351553

2)Anaconda2:python2.13(有同学建议使用Anaconda2+caffe的组合配置,会减少一些错误,本人也是尝试Anaconda2进行配置的)

3)独立安装的python(需要独立安装很多相关的包),此部分没做尝试,但是原理类似。

python依赖的包:sudo apt-get install -y python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandaspython-gflags Cython ipython

请参考其他博文:http://blog.csdn.net/sinat_17196995/article/details/53466524

6、开始编译Caffe

1)cd ~/my_softwares/DeepLearning/caffe:进入caffe的根目录下

2)sudo make clean

3)sudo make all -j4 (-j4表示使用4核处理器执行当期指令)

4)sudo make test -j4(最好加上sudo防止有些文件的访问权限不够)

5)sudo make runtest

注:如果执行【sudo make runtest】的时候遇到问题.build_release/tools/caffe: error while loading shared libraries: libopencv_core.so.3.2: cannot open shared object file: No such file or directory,可以通过安装ffmpeg解决该问题,执行【sudo apt install ffmpeg】进行安装,参考这里。

7、基于CUDNN进行加速:

1)cd ~/my_softwares/DeepLearning/caffe:进入caffe的根目录下

2)sudo vi Makefile.config:修改配置文件的内容
3)将USE_CUDNN 行的注释符号#去除,即 USE_CUDNN := 1, 然后重新编译,执行如下命令:
4)sudo make clean
5)sudo make all:重新编译

8、测试caffe

参考网址:http://caffe.berkeleyvision.org/gathered/examples/mnist.html

1)import caffe,输入如下命令:

== cd /home/hcq/caffe

== python

== import caffe

== 第一次成功后如下所示:

hcq@ubuntu:~/caffe/python$ python  
Python 2.7.13 |Anaconda custom (64-bit)| (default, Dec 20 2016, 23:09:15)   
[GCC 4.4.7 20120313 (Red Hat 4.4.7-1)] on linux2  
Type "help", "copyright", "credits" or "license" for more information.  
Anaconda is brought to you by Continuum Analytics.  
Please check out: http://continuum.io/thanks and https://anaconda.org  
>>> import caffe  
/home/hcq/anaconda2/lib/python2.7/site-packages/matplotlib/font_manager.py:280: UserWarning: Matplotlib is building the font cache using fc-list. This may take a moment.  
  'Matplotlib is building the font cache using fc-list. '  

2)MNIST

== cd /home/hcq/caffe(确保当前目录是caffe目录),执行如下命令:

== sudo ./data/mnist/get_mnist.sh

== sudo ./examples/mnist/create_mnist.sh

== sudo ./examples/mnist/train_lenet.sh

== 训练完成后如下所示:

I0531 13:36:27.238719 30896 solver.cpp:447] Snapshotting to binary proto file examples/mnist/lenet_iter_10000.caffemodel  
I0531 13:36:27.246770 30896 sgd_solver.cpp:273] Snapshotting solver state to binary proto file examples/mnist/lenet_iter_10000.solverstate  
I0531 13:36:27.292603 30896 solver.cpp:310] Iteration 10000, loss = 0.00319028  
I0531 13:36:27.292671 30896 solver.cpp:330] Iteration 10000, Testing net (#0)  
I0531 13:36:32.300751 30898 data_layer.cpp:73] Restarting data prefetching from start.  
I0531 13:36:32.510131 30896 solver.cpp:397]     Test net output #0: accuracy = 0.9908  
I0531 13:36:32.510211 30896 solver.cpp:397]     Test net output #1: loss = 0.0275014 (* 1 = 0.0275014 loss)  
I0531 13:36:32.510223 30896 solver.cpp:315] Optimization Done.  
I0531 13:36:32.510227 30896 caffe.cpp:259] Optimization Done.  

【caffe2安装教程】https://caffe2.ai/docs/getting-started.html?platform=ubuntu&configuration=compile

【Scipy】

简介:SciPy是一款方便、易于使用、专为科学和工程设计的Python工具包.它包括统计,优化,整合,线性代数模块,傅里叶变换,信号和图像处理,常微分方程求解器等等。

1、参考网址:

    1)官网:http://scikit-learn.org/stable/

    2)用Python做科学计算:http://old.sebug.net/paper/books/scipydoc/index.html

2、本文基于Anaconda3进行安装,如下所示:

    1)基于Anaconda3的话执行:conda install scikit-learn ||| 基于独立python的话,执行:pip install -U scikit-learn

    2)安装NumPy包(基于Anaconda的话不需要此步骤):

    3)安装SciPy包(基于Anaconda的话不需要此步骤):

注:基于独立python环境的话,请参考这里。

3、测试环境是否配置完成,依次执行如下步骤:

打开powerhesll,进入python

1)import numpy

2)import scipy

3)from sklearn import linear_model

4)reg = linear_model.LinearRegression()

5)reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])

此时输出:LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)

6)reg.coef_

此时输出:array([ 0.5,  0.5])

4、更多案例请参考官网,提供了超多案例,可以慢慢感受。

【lasagne】

简介:Ubuntu 14.04 安装 theano,lasagne,nolearn

1、安装 theano 所需要的包:sudo apt-get install python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose 

2、安装 theano: sudo pip install theano 

3、安装 lasagne 以及 nolearn: pip install -r https://raw.githubusercontent.com/dnouri/kfkd-tutorial/master/requirements.txt

六、问题集锦 

【ubuntu在终端使用命令安装软件的过程中】

/sbin/ldconfig.real: /usr/lib/nvidia-375/libEGL.so.1 is not a symbolic link  
/sbin/ldconfig.real: /usr/lib32/nvidia-375/libEGL.so.1 is not a symbolic link  
  
/sbin/ldconfig.real: /usr/lib/nvidia-375/libEGL.so.1 不是符号连接  
/sbin/ldconfig.real: /usr/lib32/nvidia-375/libEGL.so.1 不是符号连接  

参考网址:https://stackoverflow.com/questions/43016255/libegl-so-1-is-not-a-symbolic-link

解决方案:依次执行如下命令

sudo mv /usr/lib/nvidia-375/libEGL.so.1 /usr/lib/nvidia-375/libEGL.so.1.org  
sudo mv /usr/lib32/nvidia-375/libEGL.so.1 /usr/lib32/nvidia-375/libEGL.so.1.org  
sudo ln -s /usr/lib/nvidia-375/libEGL.so.375.39 /usr/lib/nvidia-375/libEGL.so.1  
sudo ln -s /usr/lib32/nvidia-375/libEGL.so.375.39 /usr/lib32/nvidia-375/libEGL.so.1  

======================================================

未完待续!~ 读者们有什么好建议可以直接评论哈,本人会第一时间就行完善和补充,争取提供给大家更多帮助和便利。

======================================================

 

你可能感兴趣的:(【深度学习】,【日积月累】,【Matlab】)