Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建

一、安装ubuntu18.04 LTS

(一)下载ubuntu系统映像

Ubuntu 18.04.4 LTS (Bionic Beaver)

(二)制作系统安装盘

推荐工具:rufus

(三)系统安装

注意:一定将bios设置中安全启动选项关闭!

1、设置语言

Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建_第1张图片

2、设置键盘布局

Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建_第2张图片

3、设置安装模式(建议连接网络)

Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建_第3张图片

4、选择其他选项

Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建_第4张图片

5、建议分区方式(128G硬盘为例)

Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建_第5张图片

大小(MB) 类型 挂载点
30720MB 主分区 /
8194MB 交换空间
1024MB 逻辑分区 /boot
其余所有空间 逻辑分区 /home
6、一直下一步,等待安装结束

(四)后续

1、ubuntu更换阿里云镜像源

(1)在所有软件中,找到"软件与更新"并打开
(2)Ubuntu软件->下载自->其他站点->http://mirrors.aliyun.com/ubuntu
Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建_第6张图片

2、更新
# 终端输入:
sudo apt-get update
sudo apt-get upgrade
3、配置ssh服务器

(1)安装ssh-server

sudo apt-get install openssh-server

(2)查看ssh-server状态

sudo ps -e | grep ssh

若有sshd条目则成功启动
(3)启动命令:service sshd start

二、深度学习环境搭建

(一)GPU环境搭建

参考Tensorflow官方GPU配置指南进行搭建。

1、卸载旧显卡驱动及相关组件
# 终端输入:
sudo apt-get purge nvidia*
sudo apt --purge remove "cublas*" "cuda*"
2、安装Driver、CUDA-Toolkit、CuDNN及TensorRT等组件
# 终端输入:(本部分内容实时动态更新,以上方官网链接中内容为准):
# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update
# Install NVIDIA driver
sudo apt-get install --no-install-recommends nvidia-driver-430
# 重启后终端输入"nvidia-smi"测试驱动是否成功安装
sudo apt-get update
sudo apt-get upgrade
# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-10-1 \
    libcudnn7=7.6.4.38-1+cuda10.1  \
    libcudnn7-dev=7.6.4.38-1+cuda10.1
# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer6=6.0.1-1+cuda10.1 \
    libnvinfer-dev=6.0.1-1+cuda10.1 \
    libnvinfer-plugin6=6.0.1-1+cuda10.1
3、安装CUPTI

(1)安装

# 终端输入:
sudo apt-get install libcupti-dev

(2)配置环境变量
终端输入:sudo gedit ~/.bashrc
增加行:export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64,保存并退出
终端输入:source ~/.bashrc

注意:实时监测显卡状态命令watch -n 0.5 nvidia-smi

三、Annaconda环境搭建

(一)下载Annaconda3

Annaconda清华镜像站获取最新版本,下载至本地。

(二)安装Annaconda3

1、在"下载"文件夹打开终端,终端输入bash Anaconda3-5.2.0-Linux-x86_64.sh(文件名)开始安装。
2、特别注意:无需安装捆绑的VScode(提示信息“Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]”,输入no),其他均键入ENTER至安装结束。

(三)添加环境变量

1、终端输入:sudo gedit ~/.bashrc
2、增加一行:export PATH="/home/XXX/anaconda3/bin:$PATH"并保存。

(注意XXX处为自己的用户名)

3、终端输入:source ~/.bashrc

(四) conda更换清华镜像源

1、查看已安装的镜像源
conda config --show channels
2、若安装了其他镜像,删除
conda config --remove channels url
# 例:conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/cpu/
3、添加清华镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
4、升级conda
conda update conda

(五)设置jupyter远程访问

0、开放防火墙端口
sudo ufw status # 查看已经开启的端口
sudo ufw allow 9999 # 打开9999端口
sudo ufw enable # 防火墙开启
sudo ufw reload # 防火墙重启
1、生成Jupyter Notebook配置文件
jupyter notebook --generate-config
2、输入ipython,设置notebook密码
In [1]: from IPython.lib import passwd
In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: '复制此密码'
3、设置服务器配置文件
sudo gedit ~/.jupyter/jupyter_notebook_config.py

修改以下内容:

c.NotebookApp.ip = '*' #所有绑定服务器的IP都能访问,若想只在特定ip访问,输入ip地址即可
c.NotebookApp.password = 'sha:...粘贴密码'
c.NotebookApp.allow_remote_access = True
c.NotebookApp.port = 9999 # 选择刚才开放的端口
c.NotebookApp.open_browser = False #我们并不想在服务器上直接打开Jupyter Notebook,所以设置成False
c.NotebookApp.notebook_dir = '可自定义路径' #设置Jupyter的根目录
c.NotebookApp.allow_root = True # 为了安全,Jupyter默认不允许以root权限启动jupyter
4、启动Jupyter notebook后,使用http://server-ip:9999访问(使用ifconfig命令查看ip)

四、在虚拟环境中搭建tensorflow环境

(一)创建虚拟环境

1、终端输入:
conda create -n tensorflow_env --clone base
2、激活环境
source activate tensorflow_env
3、更新pip并安装tensorflow

终端输入:

pip install --upgrade pip
pip install tensorflow==2.1.0

注意:若出现

ERROR: Cannot uninstall 'wrapt'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

则输入:pip install wrapt --ignore-installed并重新安装

4、验证安装

输入ipython,输入:

import tensorflow as tf
print(tf.config.list_physical_devices())

若输出GPU、CPU信息,如:

[PhysicalDevice(name='/physical_device:CPU:0', device_type='CPU'),
 PhysicalDevice(name='/physical_device:XLA_CPU:0', device_type='XLA_CPU'),
 PhysicalDevice(name='/physical_device:XLA_GPU:0', device_type='XLA_GPU'),
 PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

则可以正常调用GPU、CPU。

五、在虚拟环境中搭建pytorch环境

(一)创建虚拟环境

1、终端输入:
conda create -n pytorch_env --clone base
2、激活环境
source activate pytorch_env
3、更新pip并安装pytorch

终端输入:

pip install --upgrade pip
# 注意:安装命令关注官网实时更新https://pytorch.org/get-started/locally/
pip install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html
4、验证安装

输入ipython,并输入:

import torch
print(torch.cuda.is_available())

若输出True则成功安装

你可能感兴趣的:(深度学习,Python)