win10+ubuntu18.04双系统+cuda10+cudnn7.4+tensorRT5深度学习环境

在上一篇 win10+ubuntu16.04双系统+cuda+cudnn+tensorRT深度学习环境记录了去年深度学习环境的搭建,随着ubuntu,cuda,tensorflow,pytorch,mxnet版本的更新,重装了系统,同时更加简单.在这里介绍一下.
硬件环境
cpu:i7-7700k
gpu:1080Ti

cpu:i7-8700k
gpu:2080Ti

亲测都没有问题。

一，首先下载ubuntu18.04。

附各版本下载地址
选择 ubuntu-18.04-desktop-amd64.iso 2018-04-26 18:44 1.8G
ubuntu-18.04.1-desktop-amd64.iso应该也没问题。

二，分区

使用DiskGenius软件将win的一个区分区，预留下几十G空间。最好将系统放于固态中。例如100G固态，分成两个区，第一个区用于win访问，第二个区删掉。留下空白空间。

三，制作启动盘

使用UltraISO读取下载好的ISO文件。写入U盘中。

四，安装系统

进入bios选择U盘启动,图形化安装。
网上写的实在是不行，
在安装界面选择其他选项

上面这个图，如果是双系统，会有一个 efi 格式的分区，是window 使用uefi模式进入系统启动项存放的位置，Ubuntu的启动项也要放在那里。网上说的要建/boot分区，都什么年代了，电脑都是uefi模式启动了，一起的方法跟不上时代了。
点击空闲，点击加号，挂载点选择**/ 。如果你内存少于8个G, 建议还是加内存才能深度学习。如果多余8个G,swag分区更没必要了。所以空闲全部分给主分区。
最下面有一个安装启动引导器的设备**，选择 efi 格式的编号，一般后面会跟一个 window boot manager。

五，安装显卡驱动

选择图形化是最靠谱的

1. 更新apt-get源列表

   sudo apt-get update
   sudo apt-get upgrade

2. 添加驱动源

   sudo add-apt-repository ppa:graphics-drivers/ppa
   sudo apt-get update

ubuntu搜索软件更新器

(忽略掉仓库失败…)
点击设置->附加驱动

亲测410比较快,当然也可以实事415或者你看到的更新的版本.
重启电脑

六，安装cuda

https://developer.download.nvidia.cn/compute/cuda/repos/
https://developer.download.nvidia.cn/compute/machine-learning/repos/

cuda到目前为止最新版本为10。
首先进入bios关闭安全启动。
下载cuda安装包。
弃用第一种方法。在线安装更快更稳妥，安装过程会帮我们解决各种依赖问题。
第一种方案：
下载.deb安装包。
到下载路径下执行建议的命令

sudo dpkg -i cuda-repo-ubuntu1804-10-0-local-10.0.130-410.48_1.0-1_amd64.deb
sudo apt-key add /var/cuda-repo-/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1804-10-0-local-10.0.130-410.48_1.0-1_amd64.deb
sudo apt-get update
sudo apt-get install cuda 

执行第一句时,会提示添加apt-key,把提示的命令输一下,类似于第二句,再安装即可.
空格观看责任书
当提示是否安装显卡驱动时,选择no
根据提示：

Please make sure that
 -   PATH includes /usr/local/cuda-10.0/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-10.0/lib64, or, add /usr/local/cuda-10.0/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-10.0/bin
To uninstall the NVIDIA Driver, run nvidia-uninstall

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.0/doc/pdf for detailed information on setting up CUDA.

第二种方案：
在线安装：

下载.deb（network）在线安装包。
到下载路径下执行建议的命令

sudo dpkg -i cuda-repo-ubuntu1804_10.1.105-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda

执行第一句时,会提示添加apt-key,把提示的命令输一下,继续运行即可.
到这里，执行nvcc -V 提示没有cuda tool,需要将cuda安装路径加入环境变量。
cuda路径可能有所不同，可以cd过去确认。

执行：

 gedit ~/.bashrc

在文件最后添加:

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda

使环境变量在当前用户下永久有效
执行

source ~/.bashrc

立即生效
运行

nvcc -V

输出

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2018 NVIDIA Corporation
Built on Sat_Aug_25_21:08:01_CDT_2018
Cuda compilation tools, release 10.0, V10.0.130

则安装成功

七，安装cudnn

下载地址
在登录，同意License后，有一个下载界面，为目前最新版本7.4.2。不选这个，点击
Archived cuDNN Releases
选择

下载之后为.deb文件
通过执行

sudo dpkg -i  libcudnn7_7.4.2.24-1+cuda10.0_amd64.deb
sudo dpkg -i  libcudnn7-dev_7.4.2.24-1+cuda10.0_amd64.deb
sudo dpkg -i  libcudnn7-doc_7.4.2.24-1+cuda10.0_amd64.deb

安装cudnn完成。

八，安装tensorRT

tensorRT的下载地址
同样需要登录
选择

执行

sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda10.0-trt5.0.2.6-ga-20181009_1-1_amd64.deb

完成安装

九，安装anaconda（python环境）

清华源下载miniconda3
通过执行 清华源不维护了

 ./Miniconda3-latest-Linux-x86_64.sh

完成安装
其中可以修改安装路径
安装完成后需要执行

source ~/.bashrc

才能使anaconda的环境变量生效。（当然重启后即生效）
同时将增加conda清华源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

增加pip清华源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

目前最新的python是3.7版本，但是tensorflow2.0仍然只支持3.6，所以可以通过以下命令将默认环境改为3.6，免去日后不断activate环境的操作。

conda install python=3.6 --yes

十，安装python包

弃用下面修改默认环境的方法，改为上面的修改方案。
## 创建python3.6虚拟环境

conda create -n machine python=3.6

## 激活环境

source activate machine

## 修改python3.6为默认环境
修改默认环境后以后就不需要激活了

    gedit ~./bashrc

内容修改如下，注意地址需要变化可以通过conda envs list查看

    # added by Miniconda3 4.5.12 installer
    # >>> conda init >>>
    # !! Contents within this block are managed by 'conda init' !!
    __conda_setup="$(CONDA_REPORT_ERRORS=false '/home/arron/公共的/miniconda3/bin/conda' shell.bash hook 2> /dev/null)"
    if [ $? -eq 0 ]; then
        \eval "$__conda_setup"
    else
        if [ -f "/home/arron/公共的/miniconda3/etc/profile.d/conda.sh" ]; then
            . "/home/arron/公共的/miniconda3/etc/profile.d/conda.sh"
            CONDA_CHANGEPS1=false conda activate machine
        else
            \export PATH="/home/arron/公共的/miniconda3/envs/machine/bin:$PATH"
        fi
    fi
    unset __conda_setup
# <<< conda init <<<

执行

source ~/.bashrc

安装tensorflow-gpu

使用conda安装conda会帮忙下载可以使用的cuda和cudnn,以及cpu并行加速库mkl。目前这样装的还是tensorflow1，推荐使用第二条命令安装tensorflow2。
因为tensorflow跟新太快，附上官方链接：https://tensorflow.google.cn/install/gpu

pip install tensorflow-gpu==2.0.0-alpha0

安装pytorch

在pytorch官网上可以生成安装命令

conda install pytorch torchvision cuda100 -c pytorch
pip install https://download.pytorch.org/whl/cu90/torch-1.1.0-cp37-cp37m-win_amd64.whl
pip install https://download.pytorch.org/whl/cu90/torchvision-0.3.0-cp37-cp37m-win_amd64.whl

安装mxnet

在mxnet官网上可以生成安装命令

pip install    mxnet100-cu100mkl

安装jupyter notebook

使用conda安装可以选择conda的不同环境

conda install nb_conda

开启远程访问notebook参考另一篇博客.

十一，安装pycharm编辑器

官方下载
一般社区办就可以
专业版需要付费，当然网上各种方法破解。
随意选择。
推荐申请学生账号，免费使用一年。到期后可以再次申请。有了正版账号可以同步设置，还是很好用的。
在/bin/下直接执行./pycharm.sh就可以运行了。
但是为了更方便，可以创建快捷方式。参考博客

sudo gedit /usr/share/applications/Pycharm.desktop

添加（具体以安装路径为准）

  [Desktop Entry]
  Type=Application
  Name=Pycharm
  GenericName=Pycharm3
  Comment=Pycharm3:The Python IDE
  Exec=sh /home/arron/pycharm-community-2018.2.2/bin/pycharm.sh
  Icon=/home/arron/pycharm-community-2018.2.2/bin/pycharm.png
  Terminal=pycharm
  Categories=Pycharm

搜索pycharm，固定到任务栏中即可。