Anaconda虚拟环境管理、深度学习开发框架搭建、win+ubuntu双系统安装

本文介绍了如何分别在win10与ubuntu18系统下部署深度学习开发环境,如何创建、管理多版本深度学习环境,附带了双系统安装教程。

虚拟环境管理与使用技巧,附带win10与ubuntu18 pytorch+tensorflow-gpu深度学习框架安装及双系统安装教程

  • 1、创建与删除
    • 1.1 从互联网创建新的指定python版本的虚拟环境
    • 1.2、克隆虚拟环境
      • 1.2.1、本机克隆虚拟环境
      • 1.2.2、跨计算机克隆虚拟环境
    • 1.3 删除虚拟环境
      • 1.3.1 删除环境:
      • 1.3.2 删除虚拟环境中的包:
  • 2、激活和退出:
  • 2.1 激活新的虚拟环境
    • 2.2 退出当前虚拟环境
  • 3 常用环境管理命令
    • 3.1 查看当前存在哪些虚拟环境
    • 3.2 查看安装了哪些包
    • 3.3 安装新的软件包
    • 3.4检查更新当前conda
  • 4. Anaconda更换国内源、删源
    • 4.1 换国内源
      • 4.1.1 添加清华源
      • 4.1.2 添加中科大源
    • 4.2 删源
  • 5 将anaconda prompt或anaconda powershell prompt放在右键菜单中显示(全网独家)
    • 5.1 anaconda prompt
    • 5.1 anaconda powershell prompt
  • Appendix(附录):
    • A.1、双系统安装:从win10开始安装ubuntu18.04双系统
    • A.2、ubuntu系统配置深度学习开发框架步骤
      • A.2.1、安装nvidia显卡驱动、安装cuda、cudnn
      • A.2.2、安装anaconda(直接去官网下载exe文件安装)
      • A.2.3 安装tensorflow-gpu、pytorch开发框架
    • A.3、win10系统配置深度学习开发框架步骤
      • A.3.1、安装nvidia显卡驱动、安装cuda、cudnn
      • A.3.2、安装anaconda(直接去官网下载exe文件安装)
      • A.3.3 安装tensorflow-gpu、pytorch开发框架
    • A.4 离线安装开发框架步骤
      • A.4.1 bz2压缩包方式
      • A.4.2 whl包方式

Python拥有强大的生态,但这个生态对于linux和mac类UNIX系统支持较好,而对于Windows支持有一定的不足(不足之处主要表现为有的python安装包在Windows平台上没有),Windows下最好使用集成环境Anaconda搭建开发环境(硬件配置稍好一点的Linux和Mac也非常建议使用Anaconda)。

1、创建与删除

1.1 从互联网创建新的指定python版本的虚拟环境

安装完Anaconda python 3.7,需要使用python3.6的方法,以创建名为“py36”的虚拟环境:
Anaconda prompt或cmd使用命令:conda create -n py36 python=3.6 anaconda(最后添加anaconda是为了创建时安装各种包)

1.2、克隆虚拟环境

1.2.1、本机克隆虚拟环境

conda本身的命令里是有移植这个选项的。
假如前提是,在本地的conda里已经有一个AAA的环境,我想创建一个新环境跟它一模一样的叫BBB,那么这样一句就搞定了:

conda create -n BBB --clone AAA

1.2.2、跨计算机克隆虚拟环境

我已经在A服务器上配置好了一套我的conda环境,但是我现在又多出来了几台服务器,我想配置一模一样的,又不想一个一个包地重装一遍,能不能conda的环境直接移植到新的计算机上呢?其实是一样的。查询conda create命令的原来说明,是这样的:
–clone ENV
Path to (or name of) existing local environment.
–clone这个参数后面的不仅可以是环境的名字,也可以是环境的路径。
所以,很自然地,我们可以把原来电脑上目标conda环境的目录复制到新电脑上,然后再用:

conda create -n BBB --clone ~/path

就直接一步安装了所有的包,完成了环境的移植。
原来的电脑上的环境的地址可以用:

conda-env list
conda.bat env list
conda info -e

1.3 删除虚拟环境

1.3.1 删除环境:

使用命令conda remove -n your_env_name(虚拟环境名称) --all, 即可删除。

1.3.2 删除虚拟环境中的包:

使用命令conda remove --name $your_env_name $package_name(包名) 即可。

2、激活和退出:

2.1 激活新的虚拟环境

需要使用python3.6版本的虚拟环境py36时,只需在anaconda prompt或cmd(或linux的terminal)中:

conda activate py36

2.2 退出当前虚拟环境

退出python3.6虚拟环境,可以使用命令 conda deactivateconda activate xxx切换到其他环境。

3 常用环境管理命令

3.1 查看当前存在哪些虚拟环境

conda-env list
conda.bat env list
conda info -e

3.2 查看安装了哪些包

conda list

3.3 安装新的软件包

conda install package_name(包名)

3.4检查更新当前conda

conda update conda

4. Anaconda更换国内源、删源

4.1 换国内源

国内主要有清华源和中科大源

4.1.1 添加清华源

命令行中直接使用以下命令(ubuntu命令行也可以)

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

 # 以下代码用于设置搜索时显示通道地址
conda config --set show_channel_urls yes

4.1.2 添加中科大源

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/

conda config --set show_channel_urls yes

在Linux下,还可以直接将以上配置文件写在~/.condarc中

vim ~/.condarc
channels:
  - https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
  - https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true

4.2 删源

换回conda的默认源。查看了conda config的文档后,发现直接删除channels即可。

conda config --remove-key channels

5 将anaconda prompt或anaconda powershell prompt放在右键菜单中显示(全网独家)

5.1 anaconda prompt

参考本篇博客

5.1 anaconda powershell prompt

anaconda prompt可以参考上述文章,但对于powershell版本的anaconda powersell prompt则需要将上述默认值

cmd.exe /s /k "title Anaconda3" && C:\Users\penga\Anaconda3\Scripts\activate.bat C:\Users\penga\Anaconda3

改成如下的形式

powershell.exe -ExecutionPolicy ByPass -NoExit -Command "& 'C:\Users\penga\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\penga\Anaconda3' "

代码中的"& 'C:\Users\penga\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\penga\Anaconda3' "可以按照下列方式查找到
(1)打开 anaconda powershell prompt快捷方式
Anaconda虚拟环境管理、深度学习开发框架搭建、win+ubuntu双系统安装_第1张图片
Anaconda虚拟环境管理、深度学习开发框架搭建、win+ubuntu双系统安装_第2张图片
(2) 查看快捷方式属性,并将目标(T):选项卡中的代码片复制到记事本中备用,如下图:
Anaconda虚拟环境管理、深度学习开发框架搭建、win+ubuntu双系统安装_第3张图片

Appendix(附录):

A.1、双系统安装:从win10开始安装ubuntu18.04双系统

注意:以下安装方案适用于MBR电脑,GPT系列请绕道自己百度。

1、预备工作:清理出一块不被占用的硬盘(最好是固态,存储空间越大越好,最好从win10相同的盘清理出一块作为ubuntu的\boot挂载,不然可能会出现安装失败的问题,尤其是笔记本)

2、系统安装过程不赘述,主要参考
问题: 安装完后,台式机很有可能出现卡顿在入口的情况,别着急,很正常,ctrl+alt+F1进入纯命令窗口输入一些安装驱动的命令就会轻松解决(具体请百度)

3、安装完ubuntu后重启电脑一般都不会出现双系统切换选项,一个简单的方法是打开win10后安装开源软件easyBCD(点击直接下载),然后即可非常方便的设置双系统的开机启动项顺序。

A.2、ubuntu系统配置深度学习开发框架步骤

A.2.1、安装nvidia显卡驱动、安装cuda、cudnn

下载安装需要版本的cuda cudnn
cuda历史版本下载地址
cudnn下载地址

A.2.2、安装anaconda(直接去官网下载exe文件安装)

安装anaconda 参考方法

A.2.3 安装tensorflow-gpu、pytorch开发框架

安装pytorch,安装0.3版本+1.x版本即可满足绝大部分需要,通过conda安装pytorch-gpu0.3.1版本,请参考https://ptorch.com/news/145.html
安装pytorch-gpu1.x版本:https://pytorch.org/get-started/previous-versions/

安装tensorflow-gpu:Ubuntu18.04使用anaconda3安装tensorflow-gpu、pytorch

A.3、win10系统配置深度学习开发框架步骤

A.3.1、安装nvidia显卡驱动、安装cuda、cudnn

cuda历史版本下载地址
cudnn下载地址

A.3.2、安装anaconda(直接去官网下载exe文件安装)

A.3.3 安装tensorflow-gpu、pytorch开发框架

安装pytorch,安装0.3版本+1.x版本即可满足绝大部分需要,但pytorch0.4以前都不对windows开放,因而在windows下安装0.3版本往往需要通过离线方式,以安装pytorch-gpu0.3.1版本为例,参考A.4 离线安装开发框架步骤
安装pytorch-gpu1.x版本:https://pytorch.org/get-started/previous-versions/

安装tensorflow-gpu:Ubuntu18.04使用anaconda3安装tensorflow-gpu、pytorch

A.4 离线安装开发框架步骤

A.4.1 bz2压缩包方式

首先需要下载Pytorch的conda离线安装包,以以安装pytorch-gpu0.3.1版本为例,百度网盘下载地址为:

链接:https://pan.baidu.com/s/1pteWFfenBvqC9S72WqcobA 
提取码:w0i9

根据电脑cuda9.2的配置,在上述网盘中下载了pytorch-0.3.1-py36_cuda90_cudnn7he774522_2.tar.bz2(py36代表python版本为3.6.x,cuda90代表电脑安装的cuda版本需要是9.x,cudnn7代表cudnn版本7.x)。
Anaconda虚拟环境管理、深度学习开发框架搭建、win+ubuntu双系统安装_第4张图片
下载完毕之后,直接cmd进入到pytorch-0.1.12-py36_0.1.12cu80.tar.bz2对应的目录,激活python版本为3.6.9虚拟环境torch031: conda activate torch031,然后执行以下命令进行离线安装。

conda install --offline pytorch-0.1.12-py36_0.1.12cu80.tar.bz2 #离线安装

在这里插入图片描述

A.4.2 whl包方式

对于下载好的whl文件,安装的命令如下:详情参考该博客

# 对于 Conda 的用户需要先安装以下包(完整的anaconda集成环境已经包括以下包)
conda install numpy mkl pyyaml cffi
# For Python 3.5
pip install torch-0.3.0b0.591e73e-cp35-cp35m-win_amd64.whl
# For Python 3.6
pip install torch-0.3.0b0.591e73e-cp36-cp36m-win_amd64.whl

你可能感兴趣的:(硬件软件)