ubuntu 18.04 深度学习环境配置
ubuntu 18.04 深度学习环境配置
- 系统环境配置
- 更新源，更新系统
- 安装一些工具软件
- 安装chromium浏览器，看CSDN学院视频必备
- 安装vim
- 开启sudo免密
- 安装ssh-server
- 安装一些系统工具
- 安装一些开发工具
- 安装中文支持
- 安装输入法
- 安装输入法架构fcitx
- 安装搜狗输入法
- 选择输入法框架
- 配置输入法
- 机器学习linux系统环境安装
- 安装深度学习框架
- tensorflow-gpu
- 先安装一些工具
- 安装CUDA和cuDNN
- 安装tensorflow-gpu
- 安装mxnet
- 安装pycharm
- 双系统时间不一致问题
- 参考
系统环境配置
更新源，更新系统
sudo apt-get update
sudo apt-get upgrade
sudo reboot
安装一些工具软件
安装chromium浏览器，看CSDN学院视频必备
sudo apt-get install chromium-browser
安装vim
sudo apt-get install vim
设置系统默认编辑器，本人比较习惯用vi
sudo vi /etc/bash.bashrc
在末尾添加
export EDITOR=vi
开启sudo免密
sudo vi /etc/sudoers
修改%sudo开头的行为：
%sudo ALL=(ALL:ALL) NOPASSWD:ALL
安装ssh-server
sudo apt install openssh-server
sudo apt install lrzsz
安装一些系统工具
sudo apt install sysstat
安装一些开发工具
sudo apt install git
安装中文支持
sudo apt-get install language-pack-zh-hans
sudo update-locale LANG=zh_CN.UTF-8 LANGUAGE=zh_CN:zh LC_ALL=zh_CN.UTF-8
安装后重启系统生效
安装输入法
采用下载deb，双击安装的方式更方便，根据提示操作，自动安装缺少的依赖
安装输入法架构fcitx
sudo apt-get install fcitx
安装搜狗输入法
先到官网下载搜狗输入法deb安装包，然后安装
sudo dpkg -i sogoupinyin_2.3.1.0112_amd64.deb
选择输入法框架
重启系统，在图形界面下配置输入法
应用程序（左下角图标） -> 输入法 -> “OK” -> “Yes” -> 选择 “fcitx” -> “OK” -> “OK”
重启系统
配置输入法
点击窗口右上角的输入法图标（小键盘），在菜单中选择“配置”；
在“输入法”页中配置键盘和输入法，对于中文输入法，第一项应该是“键盘-汉语”，下面依次为各种中文输入法，搜狗输入法包含了拼音和五笔，我不用五笔，从配置里删除了，“键盘-英语”也没用了，也删除了，配置后如果不起作用可以重启一下系统。
配置完成后可以用SHIFT键或CTRL+SPACE键切换输入法。
机器学习linux系统环境安装
sudo apt-get install python3-pip
配置pip国内源
cd
mkdir .pip
vi ~/.pip/pip.conf
内容如下：
[global]
index-url = https://pypi.douban.com/simple
[install]
trusted-host=pypi.douban.com
pip3 install jupyter xgboost lightgbm scikit-learn
设置环境变量
vi ~/.bashrc
在最后添加以下内容：
export PATH=$PATH:$HOME/.local/bin
更新环境变量
source ~/.bashrc
使用jupyter notebook
jupyter notebook
安装深度学习框架
tensorflow-gpu
先安装一些工具
sudo apt-get install rsync screen aptitude nmon zsh
安装CUDA和cuDNN
- 安装nvidia驱动
查看显卡型号
sudo update-pciids
lspci | grep -i nvidia
这个命令列出了NVIDIA设备，如果没有显卡具体型号，其中会包含PCI设备的设备ID，我的是2191，这个类似USB设备的VID/PID，可以在以PCI ID网站(http://pci-ids.ucw.cz/read/PC/10de)查到对应的设备型号，如果有多个，以绿色的为准；
例如我的显卡PCI设备ID2191对应TU116M [GeForce GTX 1660 Ti Mobile]，所以我的显卡型号是GTX 1660 Ti
查看当前驱动版本
sudo dpkg --list | grep nvidia-*
查看软件库有哪些驱动版本
sudo apt-cache search nvidia-driver
显卡型号与驱动版本之间的支持关系参考：https://www.geforce.cn/drivers
我用的显卡型号是GTX1660Ti，查到对应的驱动版本有4个：
- 430.09
- 418.88
- 418.74
- 418.1130
用PPA方式安装驱动
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
查看有哪些可用的驱动版本
ubuntu-drivers devices
我选择了recommended版本nvidia-driver-440，安装重启系统
sudo apt-get install nvidia-driver-440
sudo reboot
检查驱动是否正常
nvidia-smi
- 下载
下载CUDA 10.0，目前是tensorflow-gpu 1.14，依赖CUDA 10.0
下载cuDNN 7.6.5 for CUDA 10.0
CUDA最新版本下载地址：https://developer.nvidia.com/cuda-toolkit
CUDA历史版本下载地址：https://developer.nvidia.com/cuda-toolkit-archive
cuDNN最新版本下载地址：https://developer.nvidia.com/cudnn
cuDNN最新版本下载地址：https://developer.nvidia.com/rdp/cudnn-archive
- 安装CUDA apt库
sudo dpkg -i cuda-repo-ubuntu1804-10-0-local-10.0.130-410.48_1.0-1_amd64.deb
sudo apt-key add /var/cuda-repo-10-0-local-10.0.130-410.48/7fa2af80.pub
sudo apt-get update
- 安装CUDA
sudo apt-get install cuda
安装过程中会卸载前面安装的驱动，安装低版本驱动nvidia-driver-440，没关系，不影响使用，但是如果不安装使用低版本驱动，系统重启后鼠标键盘会没有响应。
** 坑： **
有时候会出现NVIDIA显卡驱动无法正常加载的问题，本人刚刚装好CUDA时能正常使用，过了几天，某天开机发现就不行了，nvidia-smi命令此时无法显示显卡信息，按网上所说的方法都没能解决，最后反复尝试按以下方法非完美解决：
从NVIDIA官网下载Linux 64bit版本的显卡驱动，安装驱动后重启系统，重启到图形登录界面，登录后无法进入桌面（只有紫色背景）且鼠标键盘无相应；反复尝试各种方法，目前仅知道是Xorg问题，不知如何解决，最终采用以下方法绕过Xorg，非完美解决问题：
启动到图形登录界面后，点击要登录的用户，在密码输入框的右下角有一个齿轮图标，点击齿轮图标，在弹出菜单中选择非基于X11的桌面系统，然后输入密码就可以进入桌面了；本人选择的是Ubuntu on Wayland，进入后与默认的Ubuntu桌面完全一样，桌面设置都在，Gnome桌面也可以；而其他基于X11的桌面则无法使用，包括Ubuntu，Gnome on Xorg，Lubuntu等，都是相同的问题。
- 安装cuDNN
sudo dpkg -i libcudnn7_7.6.5.32-1+cuda10.0_amd64.deb
安装tensorflow-gpu
安装
pip3 install tensorflow-gpu
验证
import tensorflow as tf
print(tf.test.is_gpu_available())
从输出的log看可以知道GTX1660Ti的capability是7.5，一般应该在https://developer.nvidia.com/cuda-gpus可以查到，但我并没有找到GTX1660Ti对应的信息
2020-02-08 01:45:10.705657: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1326] Created TensorFlow device (/device:GPU:0 with 5312 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1660 Ti, pci bus id: 0000:01:00.0, compute capability: 7.5)
安装mxnet
注意与CUDA版本对应
pip3 install mxnet-cu100mkl
安装pycharm
- 下载
下载地址：https://www.jetbrains.com/pycharm/download/#section=linux - 安装
无需安装，解压到HOME下即可 - 创建快捷方式
参考：https://blog.csdn.net/u010071211/article/details/81114269
我的desktop文件内容如下：
[Desktop Entry]
Version=1.0
Type=Application
Name=PyCharm
Comment=Example content for Ubuntu
Exec=/home/zhangch/pycharm-community-2019.3.3/bin/pycharm.sh
Icon=/home/zhangch/pycharm-community-2019.3.3/bin/pycharm.png
Terminal=false
StartupNotify=false
Categories=Application;Development;
双系统时间不一致问题
装了双系统后总是发现不是windows下时间慢了8小时，就是linux下时间快了8小时，这是因为两个系统对硬件时钟理解不一致造成的，linux认为硬件时钟是utc时间而Windows认为硬件时钟是本地时间，参考网上稳定修改其中之一使其一致即可.
Windows修改参考：
https://blog.csdn.net/zyqblog/article/details/79318955
https://www.jb51.net/article/161125.htm
Ubuntu修改参考：
https://bbs.qunyingkeji.com/1434
https://blog.csdn.net/coollive2017/article/details/78925956
本人喜欢有标准的东东，选择了UTC，去修改Windows配置
参考
- https://dwsun.blog.csdn.net/article/details/87778590
- https://dwsun.blog.csdn.net/article/details/87778565
- https://blog.csdn.net/qq_23996885/article/details/89881877
- https://blog.csdn.net/u010071211/article/details/81114269