ubuntu20.04深度学习配置方案+常用软件

目录

基本说明

系统：ubuntu20.04
常用软件都安装在/opt目录下。（对大家公用的服务器）

安装后需要做什么

换成国内源

使用清华源：https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/，备份/etc/apt/sources.list文件，写入如下内容。

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse

# 预发布软件源，不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse

安装ssh服务

安装了ssh后，才能连接这台服务器。

sudo apt-get install openssh-server
ps -e | grep ssh # if success, you will find 'sshd'
sudo service ssh start # start service, if not find.

1. 常用软件安装

1.1 截图工具Shutter安装

sudo apt-get install shutter

从settings->Keyboard SHortcuts中添加快捷键
设置（开机自启动，截图后不主动显示软件编辑界面）

1.2 chrome安装方案

直接从chrome官网下载deb安装包
然后使用（64 位安装命令）sudo dpkg -i google-chrome-stable_current_amd64.deb

会自动安装在/opt目录下。

1.3 WPS2019安装方案

1. 卸载原生liboffice

sudo apt-get remove libreoffice-common

如果以后还要安装可以执行

sudo apt-get install libreoffice

2. 安装wps
   下载wps deb包(https://www.wps.cn/product/wpslinux/)
   会出现字体问题（TODO: 待解决）

参考：ubuntu20.04 安装 WPS 2019

1.4 screen安装

• screen

sudo apt install screen

1.5 VSCode安装

• VSCode（下载deb，安装就行，但所在目录未知。）

1.6 PyCharm安装

• PyCharm

1. 解压，然后打开终端，进入bin目录
2. sh ./pycharm.sh开始安装
3. 输入pycharm账号，完成专业版激活。
4. 安装插件Nyan progress bar
5. 桌面快捷方式
   创建.Desktop文件

sudo gedit /usr/share/applications/pycharm.desktop

填写

[Desktop Entry]
Type=Application
Name=Pycharm
GenericName=Pycharm3
Comment=Pycharm3:The Python IDE
Exec=sh /opt/pycharm-2020.2.1/bin/pycharm.sh
Icon=/opt/pycharm-2020.2.1/bin/pycharm.png
Terminal=pycharm
Categories=Pycharm;

参考：Ubuntu安装pycharm后没有快捷方式的解决办法

• v2: https://www.jianshu.com/p/04edc67ede78

1.7 LaTex安装

1.7.1 安装texlive2020

1.访问清华站，选择texlive2020.iso下载。
2.挂载sudo mount texlive2020.iso/mnt
3.开始安装

cd /mnt
sudo ./install-tl -gui

3.安装完成后卸载镜像文件。

cd ~
sudo umount /mnt

4.配置环境变量

sudo gedit ~/.bashrc

在文件最后添加

export PATH=/usr/local/texlive/2020/bin/x86_64-linux:$PATH
export PATH=/usr/local/texlive/2020/texmf-dist/scripts/latexindent:$PATH
export MANPATH=/usr/local/texlive/2020/texmf-dist/doc/man:$MANPATH
export INFOPATH=/usr/local/texlive/2020/texmf-dist/doc/info:$INFOPATH

5.使环境变量生效

source /etc/profile

Texlive安装完成。

1.7.2 安装texstudio

sudo apt-get install texstudio

可以在应用中，直接搜索到texstudio，安装完毕。

参考：

Ubuntu(20.04 LTS) OS 下 VS Code + LaTeX 快速配置指南

1.8 安装百度云

登陆https://pan.baidu.com/download，选择linux deb版本下载。

sudo dpkg -i baidunetdisk_3.4.1_amd64.deb

2. CUDA，cudnn, pytorch配置流程

2.1 CUDA安装和cudnn（nvidia-driver-400,cuda10.2）

CUDA安装

首先使用ubuntu-drivers devices命令查看自己的机器所需要安装的驱动版本，这里表示要安装430或者440。

检查显卡支持的cuda版本（当前我的为10.2）
接下来去官网下载CUDA
https://developer.nvidia.com/cuda-toolkit-archive，选择10.2
这么选择并依次执行下面的命令。第一条安装指令出现了Failed to verify gcc version，检查系统是否安装过gcc和g++。直接所使用命令 --version进行测试。ubuntu系统自带的应该是gcc9，而需要添加gcc7才可安装cuda10.2。（如果系统没有gcc，先安装一个最新的版本。sudo apt-get install gcc和g++）
对gcc进行降级
sudo apt-get install gcc-7 g++-7
使用update-alternatives进行版本切换，输入以下命令：

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 100
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 50

查看默认的gcc版本，默认gcc版本为7即可。
sudo update-alternatives --config gcc

再次尝试安装cuda，sudo sh cuda_10.2.89_440.33.01_linux.run

接受license

若是已有显卡驱动，不安装cuda安装包中自带的显卡驱动。（判断是否有显卡驱动只需要输入，若系统此时没有显卡驱动，则可以全部勾上。）
这里报了错。具体错误内容如下：

[ERROR]: Unable to determine libdir
[ERROR]: Unable to determine libdir
[INFO]: Uninstall entry: file /usr/share/man/man3/NVML_ERROR_RESET_REQUIRED.3 7282b1f7013601a8f5aa8744bae74775
...
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"
[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/CUDA_Toolkit_10.2-components/CUDA_Tools_10.2-components/CUDA_Command_Line_Tools_10.2-components/"

参考了这个回答求助！！ubuntu20.04安装CUDA10.2失败！（事实证明搜索也是有技巧的。搜[ERROR]: boost::filesystem::remove: Directory not empty: "/var/log/nvidia/.uninstallManifests/"这个就有相关结果了。）
将指令改为sudo ./cuda_10.2.89_440.33.01_linux.run --librarypath=/usr/local/cuda-10.2，重新运行。操作和上面的相同。

xuyc@xuyc-Super-Server:~/Desktop$ sudo ./cuda_10.2.89_440.33.01_linux.run  --librarypath=/usr/local/cuda-10.2
===========
= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-10.2/
Samples:  Installed in /home/xuyc/, but missing recommended libraries

Please make sure that
 -   PATH includes /usr/local/cuda-10.2/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-10.2/lib64, or, add /usr/local/cuda-10.2/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.2/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.2/doc/pdf for detailed information on setting up CUDA.
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 440.00 is required for CUDA 10.2 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run --silent --driver

Logfile is /var/log/cuda-installer.log

接下来配置环境变量。
输入gedit ~/.bashrc命令打开文件，在文件结尾输入以下语句，保存。

export PATH=/usr/local/cuda-10.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

更新环境变量配置

source ~/.bashrc

然后使用nvcc -V测试以下是否能检测到Cuda，出现以下的信息就是成功啦。

安装cuDNN

官网：https://developer.nvidia.com/rdp/cudnn-archive，需要注册个账号才能下载。
这里选择cuDNN V7.6.5版本，下载cuDNN Library for Linux，为什么不下载最新版呢？因为最新版只看到x86和power两个版本的cuDNN Library下载。

下载解压之后，将cuda/include/cudnn.h文件复制到/usr/local/cuda/include文件夹，将cuda/lib64/下所有文件复制到/usr/local/cuda/lib64文件夹中，并添加读取权限：

cp cuda/include/cudnn.h /usr/local/cuda/include
cp cuda/lib64/* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

cuDNN安装完成。

参考：Ubuntu 20.04 CUDA&cuDNN安装方法
Ubuntu 18.04 安装 NVIDIA 显卡驱动

2.2 CUDA安装和cudnn（nvidia-driver-510,cuda11.6）

CUDA安装

更新时间为2022.2.27，由于cuda驱动一直更新，现在已经到了nvidia-driver-510的版本。略有不同，再讲一下安装过程。

首先检查一下显卡驱动，在终端输入ubuntu-drivers devices。发现推荐我安装nvidia-driver-510 - distro non-free recommended.
我使用sudo ubuntu-drivers autoinstall指令直接安装了这个推荐的版本。
安装完成后，输入nvidia-smi，会出现了NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.报错，这时候重启一下机器就可以。
重启完成后，再次使用nvidia-smi就可以找到显卡。

安装cuda，进入https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=deb_local安装

vim ~/.bashrc，在末尾加入

export PATH=/usr/local/cuda-11.6/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

使用nvcc -V测试通过。

cudnn安装（方法1：tar安装）

从官网上下载

下载后的文件是：cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive.tar.xz，由于我们cuda下载的是11.6版本，所以相关文件都放入cuda-11.6的文件夹即可。

tar -xzvf cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive.tar.xz
cd cudnn-linux-x86_64-8.3.1.22_cuda11.5-archive
sudo cp include/cudnn*.h /usr/local/cuda-11.6/include/
sudo cp -P lib/libcudnn* /usr/local/cuda-11.6/lib64
sudo chmod a+r /usr/local/cuda-11.6/include/cudnn*.h /usr/local/cuda-11.6/lib64/libcudnn*

参考：ubuntu 安装cuda11.5+cudnn8.3.1 - 西红柿番了个茄的文章 - 知乎

cudnn安装（方法2：deb，不推荐使用deb安装）

官网登陆下载https://developer.nvidia.com/rdp/cudnn-archive

下载完成后，在服务器上使用sudo dpkg -i cudnn-local-repo-ubuntu2004-8.3.1.22_1.0-1_amd64.deb安装。

误用deb安装的卸载方法：

dpkg -l | grep cudnn
sudo dpkg -r [上一步的已安装Deb版本名称]

2.3 安装miniconda和python

ubuntu20.04是不自带
从清华源https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/下载miniconda，运行。
选择安装在/opt/miniconda3路径安装。需要配置Python的环境变量。

1. 用vim打开vim ~/.bashrc。

2. 在尾部添加export PATH=/opt/miniconda3/bin:$PATH，保存退出（注意：这里写PYTHONPATH我试了，没用的。）

3. source ~/.bashrc刷新一下注册表。
   测试完成。
   

4. 切换conda源

# 1,2是Anaconda官方库的镜像
# 3是Anaconda第三方库 Conda Forge的镜像
# 4是for linux(Pytorch)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes

conda的设置在文件~/.condarc中。

参考：conda 换国内的镜像源

完全卸载Miniconda或conda需要删除这些文件

rm -rf ~/anaconda3 
rm -rf ~/.condarc 
rm -rf ~/.conda 

2.4 安装Pytorch的虚拟环境

conda create -n torch python=3.6

换源了之后，下载非常快。

source activate torch
# CUDA 10.2
conda install pytorch==1.5.1 torchvision==0.6.1 cudatoolkit=10.2 -c pytorch

pip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2

其他

无网络进行pip安装

# 有网络的机子
pip download tensorboard_logger
# 无网络的机子
pip install tensorboard_logger-0.1.0-py2.py3-none-any.whl -f ./ --no-index

桌面美化

暂时不做。