本文介绍了如何分别在win10与ubuntu18系统下部署深度学习开发环境,如何创建、管理多版本深度学习环境,附带了双系统安装教程。
安装完Anaconda python 3.7,需要使用python3.6的方法,以创建名为“py36”的虚拟环境:
Anaconda prompt或cmd使用命令:conda create -n py36 python=3.6 anaconda(最后添加anaconda是为了创建时安装各种包)
conda本身的命令里是有移植这个选项的。
假如前提是,在本地的conda里已经有一个AAA的环境,我想创建一个新环境跟它一模一样的叫BBB,那么这样一句就搞定了:
conda create -n BBB --clone AAA
我已经在A服务器上配置好了一套我的conda环境,但是我现在又多出来了几台服务器,我想配置一模一样的,又不想一个一个包地重装一遍,能不能conda的环境直接移植到新的计算机上呢?其实是一样的。查询conda create命令的原来说明,是这样的:
–clone ENV
Path to (or name of) existing local environment.
–clone这个参数后面的不仅可以是环境的名字,也可以是环境的路径。
所以,很自然地,我们可以把原来电脑上目标conda环境的目录复制到新电脑上,然后再用:
conda create -n BBB --clone ~/path
就直接一步安装了所有的包,完成了环境的移植。
原来的电脑上的环境的地址可以用:
conda-env list
conda.bat env list
conda info -e
使用命令conda remove -n your_env_name
(虚拟环境名称) --all, 即可删除。
使用命令conda remove --name $your_env_name $package_name(包名)
即可。
需要使用python3.6版本的虚拟环境py36时,只需在anaconda prompt或cmd(或linux的terminal)中:
conda activate py36
退出python3.6虚拟环境,可以使用命令 conda deactivate
或 conda activate xxx
切换到其他环境。
conda-env list
conda.bat env list
conda info -e
conda list
conda install package_name(包名)
conda update conda
国内主要有清华源和中科大源
命令行中直接使用以下命令(ubuntu命令行也可以)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
# 以下代码用于设置搜索时显示通道地址
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --set show_channel_urls yes
在Linux下,还可以直接将以上配置文件写在~/.condarc中
vim ~/.condarc
channels:
- https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
- https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
换回conda的默认源。查看了conda config的文档后,发现直接删除channels即可。
conda config --remove-key channels
参考本篇博客
anaconda prompt可以参考上述文章,但对于powershell版本的anaconda powersell prompt则需要将上述默认值
cmd.exe /s /k "title Anaconda3" && C:\Users\penga\Anaconda3\Scripts\activate.bat C:\Users\penga\Anaconda3
改成如下的形式
powershell.exe -ExecutionPolicy ByPass -NoExit -Command "& 'C:\Users\penga\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\penga\Anaconda3' "
代码中的"& 'C:\Users\penga\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\penga\Anaconda3' "
可以按照下列方式查找到
(1)打开 anaconda powershell prompt快捷方式
(2) 查看快捷方式属性,并将目标(T):选项卡中的代码片复制到记事本中备用,如下图:
注意:以下安装方案适用于MBR电脑,GPT系列请绕道自己百度。
1、预备工作:清理出一块不被占用的硬盘(最好是固态,存储空间越大越好,最好从win10相同的盘清理出一块作为ubuntu的\boot挂载,不然可能会出现安装失败的问题,尤其是笔记本)
2、系统安装过程不赘述,主要参考
问题: 安装完后,台式机很有可能出现卡顿在入口的情况,别着急,很正常,ctrl+alt+F1进入纯命令窗口输入一些安装驱动的命令就会轻松解决(具体请百度)
3、安装完ubuntu后重启电脑一般都不会出现双系统切换选项,一个简单的方法是打开win10后安装开源软件easyBCD(点击直接下载),然后即可非常方便的设置双系统的开机启动项顺序。
下载安装需要版本的cuda cudnn
cuda历史版本下载地址
cudnn下载地址
安装anaconda 参考方法
安装pytorch,安装0.3版本+1.x版本即可满足绝大部分需要,通过conda安装pytorch-gpu0.3.1版本,请参考https://ptorch.com/news/145.html
安装pytorch-gpu1.x版本:https://pytorch.org/get-started/previous-versions/
安装tensorflow-gpu:Ubuntu18.04使用anaconda3安装tensorflow-gpu、pytorch
cuda历史版本下载地址
cudnn下载地址
安装pytorch,安装0.3版本+1.x版本即可满足绝大部分需要,但pytorch0.4以前都不对windows开放,因而在windows下安装0.3版本往往需要通过离线方式,以安装pytorch-gpu0.3.1版本为例,参考A.4 离线安装开发框架步骤
安装pytorch-gpu1.x版本:https://pytorch.org/get-started/previous-versions/
安装tensorflow-gpu:Ubuntu18.04使用anaconda3安装tensorflow-gpu、pytorch
首先需要下载Pytorch的conda离线安装包,以以安装pytorch-gpu0.3.1版本为例,百度网盘下载地址为:
链接:https://pan.baidu.com/s/1pteWFfenBvqC9S72WqcobA
提取码:w0i9
根据电脑cuda9.2的配置,在上述网盘中下载了pytorch-0.3.1-py36_cuda90_cudnn7he774522_2.tar.bz2(py36代表python版本为3.6.x,cuda90代表电脑安装的cuda版本需要是9.x,cudnn7代表cudnn版本7.x)。
下载完毕之后,直接cmd进入到pytorch-0.1.12-py36_0.1.12cu80.tar.bz2对应的目录,激活python版本为3.6.9虚拟环境torch031: conda activate torch031
,然后执行以下命令进行离线安装。
conda install --offline pytorch-0.1.12-py36_0.1.12cu80.tar.bz2 #离线安装
对于下载好的whl文件,安装的命令如下:详情参考该博客
# 对于 Conda 的用户需要先安装以下包(完整的anaconda集成环境已经包括以下包)
conda install numpy mkl pyyaml cffi
# For Python 3.5
pip install torch-0.3.0b0.591e73e-cp35-cp35m-win_amd64.whl
# For Python 3.6
pip install torch-0.3.0b0.591e73e-cp36-cp36m-win_amd64.whl