Ubuntu16.04+深度学习环境配置全过程

Ubuntu16.04+深度学习环境配置全过程

    • 一、Ubuntu16.04的安装
    • 二、NVIDIA驱动安装
    • 三、cuda+cudnn安装
    • 四、Anaconda安装
    • 五、apt-get、conda、pip换源
    • 六、安装pytorch
    • 七、安装tensorflow
    • 八、安装pycharm

深受重装环境之苦,吐血记录。全程使用的安装包将会分享在百度网盘中,也可到官网下载合适版本。
链接:https://pan.baidu.com/s/1idc-cI3Z5Hn9cELbxrV-0Q
提取码:2fwu

安装包 版本号
Ubuntu 16.04
NVIDIA驱动 430.64
cuda 10.1
cudnn 7.6.5
torch 1.4.0
tensorflow 1.13.1

一、Ubuntu16.04的安装

参考: https://www.jianshu.com/p/2ad73fb3855e

  1. 进入BIOS:开机后显示器有画面前一直连续按Esc键,直到进入BIOS

  2. 选择U盘启动:BIOS-boot,要使得boot option 1对应的是启动的U盘,若没有,则在hard drive BBS priorities里添加Disk到启动项1

  3. F10保存设置,进入装机界面

  4. 安装过程设置:
    (1)English ;Install Ubuntu
    (2)不联网
    (3)先不安装第三方软件
    (4)Something else,自己分区
    (5)分区详细过程
    New Partition Table(新建分区表),提示会格式化,continue
    对free space点加号划分分区,本机240G空间,分区大小如下:
    / : 主空间,ext4,80G
    /home:逻辑空间,ext4,80G
    /usr:逻辑空间,ext4,70G
    /var:逻辑空间,ext4,3G
    swap:逻辑空间,3G
    /boot:逻辑空间,ext4,400M
    (6)其他设置:
    shanghai;English(US);设置账号密码;Welcome to Ubuntu完成安装

二、NVIDIA驱动安装

版本:430.64
参考: https://blog.csdn.net/lihe4151021/article/details/90083431
https://blog.csdn.net/fu6543210/article/details/79746624

1、删除原有驱动
sudo apt-get remove --purge nvidia*
2、禁用nouveau驱动(blacklist方法)
sudo gedit /etc/modprobe.d/blacklist.conf
在最后加上: blacklist nouveau,然后保存
update-initramfs -u
sudo reboot(一定要重启)
重启后可能看到屏幕分辨率有变化,说明原驱动被卸载成功
lsmod | grep nouveau,验证nouveau驱动被禁用,此步骤没有输出表示禁用成功,才能进一步安装
3、安装驱动
(1)在官网下好.run的文件,这里是NVIDIA-Linux-x86_64-430.64.run
(2)Ctrl+Alt+F1进入纯文本界面,输入账号、密码
(3)sudo service lightdm stop //关闭图形界面,不执行会出错。
(4) sudo chmod a+x NVIDIA-Linux-x86_64-430.64.run //更改文件权限,可执行
(5)sudo ./NVIDIA-Linux-x86_64-396.18.run -no-x-check -no-nouveau-check -no-opengl-files
-no-x-check:安装驱动时关闭X服务
-no-nouveau-check:安装驱动时禁用nouveau
-no-opengl-files:只安装驱动文件,不安装OpenGL文件,只有禁用opengl这样安装才不会出现循环登陆的问题
(6)安装过程选项
failed,continue? ——Continue installation
Warning——OK
X configuration——Yes
(7)打开图形界面
sudo service lightdm start
(8)挂载nvidia驱动
sudo modprobe nvidia
(9)验证nvidia驱动安装成功
nvidia-smi
Ubuntu16.04+深度学习环境配置全过程_第1张图片

三、cuda+cudnn安装

参考 https://blog.csdn.net/wanzhen4330/article/details/81699769(基本上只使用第一种方法就能顺利安装)
版本:cuda10.1

1、cuda安装
(1)下载安装文件
官网: https://developer.nvidia.com/cuda-toolkit-archive
选择合适版本,这里下载的是cuda_10.1.168_418.67_linux.run
(2)安装cuda
因为新系统且刚装完nvidia驱动,所以不用更新,可直接安装。

sudo sh cuda_10.1.168_418.67_linux.run

accept服务条款
Ubuntu16.04+深度学习环境配置全过程_第2张图片
安装时不要勾选driver,不使用cuda自带的驱动
Ubuntu16.04+深度学习环境配置全过程_第3张图片
(3) 设置环境变量
安装完成后,会出现如下提示,所以要配置环境变量
path
主目录下,Ctrl+H显示隐藏文件
打开文件:.bashrc
添加如下代码,其中版本号根据安装版本号定:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.1/lib64
export PATH=$PATH:/usr/local/cuda-10.1/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-10.1

保存.bashrc文件,source ~/.bashrc使环境变量生效。
运行命令:nvcc --version,显示如下表明cuda安装成功。
Ubuntu16.04+深度学习环境配置全过程_第4张图片

也可以跑NVIDIA_CUDA-10.1_Samples,验证是否pass。

2、cudnn安装
实际上是把下载的库放到cuda安装文件夹对应位置
(1)下载安装文件,for cuda10.1:https://developer.nvidia.com/rdp/cudnn-archive
(2)需要把.solitairetheme8后缀改成.tar,再解压
(3)安装过程

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

(4)验证安装成功

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

可以看到cudnn的版本号是7.6.5
Ubuntu16.04+深度学习环境配置全过程_第5张图片

四、Anaconda安装

参考: https://blog.csdn.net/lwplwf/article/details/79162470
https://blog.csdn.net/m0_37864814/article/details/82112029

1、安装包下载
https://www.anaconda.com/download/#linux
这里是Anaconda3-5.2.0-Linux-x86_64.sh,Python3.6

2、运行安装文件

bash Anaconda3-5.0.1-Linux-x86_64.sh

3、一些选项
接受服务条款?Yes;安装位置默认?Enter;是否添加环境变量?Yes;安装VSCode?No(随便)

4、令环境生效

source ~/.bashrc

5、测试
运行python,看到当前默认的python来自anaconda
Ubuntu16.04+深度学习环境配置全过程_第6张图片
此时系统中的Python版本有Ubuntu自带的python2.7和python3.5,anaconda里安装的python3.6

五、apt-get、conda、pip换源

参考 https://www.cnblogs.com/luzeming/p/10595482.html

1、Ubuntu16.04换阿里源
参考 https://blog.csdn.net/u012308586/article/details/102953882

2、conda换清华源
按其他方法创建源列表文件也可,这里是直接写命令

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/  
conda config --set show_channel_urls yes

3、pip换清华源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

在这里插入图片描述

六、安装pytorch

1、下载安装文件
官网: https://pytorch.org/get-started/locally/
我需要下的是torch1.4.0,而直接按照官网给出的命令是torch1.7.0,此时有两种方法。
(1)在线安装:在previous version(https://pytorch.org/get-started/previous-versions/)里,找到v1.4.0–>Wheel–>Linux and Windows–>Cuda10.1,按照给出的命令下载安装

(2)手动下载安装:根据官网命令,下载前会列出下载链接和版本号,先到https://download.pytorch.org/whl/torch_stable.htmlUbuntu16.04+深度学习环境配置全过程_第7张图片

搜索torch-1.4.0,cu101表示对应cuda10.1,cp36对应python版本是3.6,这里下载的是torch-1.4.0-cp36-cp36m-linux_x86_64.whl。
Ubuntu16.04+深度学习环境配置全过程_第8张图片

2、pip安装
执行1(1)在线安装的可跳过这一步。

pip install torch-1.4.0-cp36-cp36m-linux_x86_64.whl

同理可下载安装torchvision

3、验证安装成功
torch和torchvision能import,不报错
Ubuntu16.04+深度学习环境配置全过程_第9张图片

七、安装tensorflow

当前需求版本:python2.7+tensorflow1.10.0
在虚拟环境中安装,tensorflow只在该虚拟环境中有效:

conda create -n tf python=2.7 
conda install tensorflow==1.10.0
source activate tf    #激活名为tf的虚拟环境

若因网络原因安装失败,可在显示安装条目里找到安装包下载地址,手动下载后安装即可。

八、安装pycharm

1、下载安装包
这里是community版
https://www.jetbrains.com/pycharm/download/#section=linux
2、解压

tar -xvf pycharm-community-2020.2.3.tar.gz

3、进入pycharm文件夹的bin目录
4、运行安装文件

sh pycharm.sh

5、固定到屏幕
先Create Desktop Entry,再Lock to Launcher
Ubuntu16.04+深度学习环境配置全过程_第10张图片

你可能感兴趣的:(linux,cuda,ubuntu,深度学习,pytorch)