小记ubantu conda TensorFlow 环境配置

介绍

现在开始入门学习机器学习,实验室有一台两路泰坦的深度学习机,要把它用起来,所以开始折腾各种配置。

Conda是一个开源包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 它适用于Linux,OS X和Windows,是为Python程序创建的,但可以打包和分发任何软件。

需求场景

实验室是一个多人环境,需要做好权限管理不然很容易搞乱,所以拟定用Anaconda来进行python的运行环境管理

根据实际需求自定义安装Anaconda,在root下创建的conda python环境为所有用户都能使用的环境,python环境目录在/usr/share/anaconda3/envs/下面。

用户自己创建的环境会在各自的home目录下,不会影响到别人的。

环境设置

实际中遇到的情况是在模型比较简单的情况下,用GPU加速的TensorFlow会跑的比CPU还慢

并且各种可执行的算法代码有时候是python2的,有时候是python3的,所以最终拟定创建4个python source执行环境

最终拟定创建的4个conda环境命名如下

硬件 python2.7 python3.5
gpu py2-tf-gpu py3-tf-gpu
cpu py2-tf-cpu py3-tf-cpu

安装流程

  1. 安装显卡驱动
  2. (可选)安装 cuda 和 cudnn
  3. 安装Anconda
  4. 创建conda python环境

安装显卡驱动

参考

https://blog.csdn.net/jhszh418762259/article/details/52957166

https://blog.csdn.net/u012581999/article/details/52433609

(可选)卸载可能存在的旧版本 nvidia 驱动

(对没有安装过 nvidia 驱动的主机,这步可以省略,但推荐执行,无害)

$sudo apt-get remove --purge nvidia*

禁用自带的 nouveau nvidia驱动

创建一个文件通过命令

sudo vim /etc/modprobe.d/blacklist-nouveau.conf

并添加如下内容:

blacklist nouveau
options nouveau modeset=0

再更新一下

sudo update-initramfs -u

修改后需要重启系统。确认下Nouveau是已经被你干掉,使用命令:

lsmod | grep nouveau

3重启系统至init 3(文本模式),也可先进入图形桌面再运行init 3进入文本模式,再安装下载的驱动就无问题,

首先我们需要结束x-window的服务,否则驱动将无法正常安装

Driver测试:

nvidia-smi #若列出GPU的信息列表,表示驱动安装成功

安装驱动

去官网下载对于版本的安装包,并执行

sudo ./NVIDIA.run

开始安装,安装过程比较快,根据提示选择即可

用 nvdia-prime 切换显卡

如果CPU带有集成显卡

使用 nvdia-prime 切换到独立显卡上

(可选)手动安装cuda + CUDNN

这里有两种解决方案,一种是根据官方文档自行安装,另一种是在conda创建环境的时候,由conda包管理工具自动安装

cuda 和 cudnn 以及TensorFlow对这两者之间的版本支持情况可能有坑,只是想快速上手少折腾的话强烈推荐直接用conda来安装

cuda安装官方文档

http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html

cudnn安装官方文档

http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html

anaconda 安装

参考 https://www.jianshu.com/p/17288627b994

直接采用sh安装包默认安装的anaconda会多用户无法共享,这里的自定义安装可以所有用户可以共用conda,用户自己创建的环境会在各自的home目录下,不会影响到别人的。由root创建的python环境是大家可以共用的。

安装流程

  1. 在 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载安装包
  2. 在root下运行指令安装 sh Anaconda3-X.X.X-Linux-x86_64.sh
  3. 选择安装目录的时候填 /usr/share/anaconda3
  4. 用vim编辑 /etc/bash.bashrc,添加 export PATH="/usr/share/anaconda3/bin:$PATH" 到文件中
  5. 重启终端即可使用conda命令

conda使用方法

安装成功验证

在终端窗口中,输入以下内容:

conda --version
创建环境
conda create --name py2-tf-cpu python=2.7 tensorflow

这将创建一个名为/envs/py2-tf-cpu,该环境指定python版本为2.7,该环境会自动安装tensorflow及其所需要的依赖项目。

提示:两个破折号(--)后面的许多常用选项可以缩写为短划线和第一个字母。所以--name和-n选项是一样的,--envs和-e是一样的。见conda --help或conda -h查看缩写列表。

查看环境列表

现在让我们检查到目前为止已经安装了哪些环境。使用conda environment info命令找出:

conda info -e 
# 或者 conda info --envs
使用某个环境

更改为其他环境,输入以下命令

source activate py2-tf-cpu

取消当前环境,回到默认的环境

source deactivate
为当前环境安装某个包

用pip或者conda直接安装均可,对于tensorflow-gpu版本,非常推荐使用conda来安装,它会自动帮忙安装cuda和cudnn,很省心,只需要提前装好显卡驱动就行了

conda install tensorflow-gpu
# pip install tensorflow-gpu
查看在环境中安装的软件包和版本的列表

使用此选项可查看环境中安装的是哪个版本的Python或其他程序,或者确认已添加或删除了包。在您的终端窗口中,只需键入:

conda list

你可能感兴趣的:(小记ubantu conda TensorFlow 环境配置)