Anaconda-python虚拟环境管理(Pytorch+Cuda)

Anaconda-用conda创建python虚拟环境、管理虚拟环境

  • 一、conda 配置以及常用命令
    • 1.安装Anaconda、并查看conda的版本(√)
    • 2.conda常用的命令(√)
    • 2.1查看conda环境:(√)
    • 3.Python创建虚拟环境(√)
    • 4.激活或者切换虚拟环境(√)
    • 5.对虚拟环境中安装额外的包
    • 6.关闭虚拟环境(即从当前环境退出返回使用PATH环境中的默认python版本)(√)
    • 7.删除虚拟环境 (√)
    • 7.1 看看自己的环境安装了哪些包,torch的版本要记住,不然后期环境乱了就麻烦了(√)
    • 8.删除环境钟的某个包
    • 9、设置国内镜像
  • 二、conda虚拟环境 克隆clone
    • 1、假设已有环境名为A,需要生成的环境名为B:(我自己用过,在同一台机器上克隆原始环境到另一个环境,挺好用的)(√)
    • 2、根据已有环境路径复制生成新的环境
    • 3、克隆base环境
    • 4、安装conda-forge和conda-pack工具
    • 5、将环境打包
    • 6、在目标主机上激活环境
  • 三、Ubuntu Windows中pytorch安装技巧、各种版本、完整安装、快速高效
    • pytorch安装
    • ubuntu环境(服务器就下载linux系统的)(√)
    • windows环境
  • 四、环境不知道怎么回事,环境乱了怎么办(√)
    • 1、首先看看自己的cuda的版本和torch的版本是不是对应不起来,对应不起来就去官网冲重新下载
    • 2、对应不起来就去官网重新下载安装(比如我的适配的是cuda10.1)
  • 五、服务器使用(常用命令)
  • 六、参考链接

一、conda 配置以及常用命令

1.安装Anaconda、并查看conda的版本(√)

打开命令行输入conda -V检验是否安装及当前conda的版本。

conda -V

  
  
    
    
    
    
  • 1

通过Anaconda安装默认版本的Python,3.6的对应的是 Anaconda3-5.2,5.3以后的都是python 3.7。
Index of / (anaconda.com)

2.conda常用的命令(√)

1)查看安装了哪些包

conda list

  
  
    
    
    
    
  • 1

2)查看当前存在哪些虚拟环境

conda env list 
conda info -e

  
  
    
    
    
    
  • 1
  • 2

3)检查更新当前conda

conda update conda

  
  
    
    
    
    
  • 1

2.1查看conda环境:(√)

conda info --envs

  
  
    
    
    
    
  • 1

在这里插入图片描述

3.Python创建虚拟环境(√)

conda create -n your_env_name python=x.x

  
  
    
    
    
    
  • 1

anaconda命令创建python版本为x.x,名字为your_env_name的虚拟环境。your_env_name文件可以在Anaconda安装目录envs文件下找到。

4.激活或者切换虚拟环境(√)

打开命令行,输入python --version检查当前 python 版本。

Linux:  source activate your_env_nam
Windows: conda activate your_env_name

  
  
    
    
    
    
  • 1
  • 2

5.对虚拟环境中安装额外的包

conda install -n your_env_name [package]

  
  
    
    
    
    
  • 1

6.关闭虚拟环境(即从当前环境退出返回使用PATH环境中的默认python版本)(√)

deactivate env_name

  
  
    
    
    
    
  • 1

或者activate root切回root环境

Linux下:source deactivate 

  
  
    
    
    
    
  • 1

7.删除虚拟环境 (√)

conda remove -n your_env_name --all

  
  
    
    
    
    
  • 1

7.1 看看自己的环境安装了哪些包,torch的版本要记住,不然后期环境乱了就麻烦了(√)

conda activate pytorch36

  
  
    
    
    
    
  • 1
pip list

  
  
    
    
    
    
  • 1

在这里插入图片描述

8.删除环境钟的某个包

conda remove --name $your_env_name  $package_name 

  
  
    
    
    
    
  • 1

9、设置国内镜像

http://Anaconda.org的服务器在国外,安装多个packages时,conda下载的速度经常很慢。清华TUNA镜像源有Anaconda仓库的镜像,将其加入conda的配置即可:

#添加Anaconda的TUNA镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

  
  
    
    
    
    
  • 1

TUNA的help中镜像地址加有引号,需要去掉

#设置搜索时显示通道地址

conda config --set show_channel_urls yes

  
  
    
    
    
    
  • 1

二、conda虚拟环境 克隆clone

在服务器上想要使用别人搭好的环境,但是又怕自己对环境的修改更新会影响他人的使用,这个时候可以使用conda命令进行复制环境。
首先假设已经安装了Anaconda。

根据已有环境名复制生成新的环境

1、假设已有环境名为A,需要生成的环境名为B:(我自己用过,在同一台机器上克隆原始环境到另一个环境,挺好用的)(√)

conda create -n B --clone A

  
  
    
    
    
    
  • 1

2、根据已有环境路径复制生成新的环境

假设已有环境路径为D:\A,需要生成的新的环境名为B:

conda create -n B --clone D:\A

  
  
    
    
    
    
  • 1

生成的新的环境的位置在anaconda的安装路径下,一般情况在D:\Anaconda3\envs\文件夹下。

————————————————

3、克隆base环境

如果想迁移的是base环境,因此需要先克隆(base环境不能直打包)

conda create -n 新环境的名称 --clone 老环境名称

  
  
    
    
    
    
  • 1

在这里插入图片描述
可以看到已经克隆好了
在这里插入图片描述

4、安装conda-forge和conda-pack工具

conda-pack是打包工具

conda install -c conda-forge conda-pack

  
  
    
    
    
    
  • 1

5、将环境打包

添加-o参数,例如将上述环境导出为新环境.tar.gz压缩包

conda pack -n 新环境名称 -o 新环境名称.tar.gz

  
  
    
    
    
    
  • 1

文件会默认打包在C盘:/用户/用户名的文件夹中
在这里插入图片描述
将压缩包放到目标主机的同版本Anaconda路径下的envs文件夹内,解压。注意:需要相同版本的Anaconda

6、在目标主机上激活环境

conda activate 新环境

  
  
    
    
    
    
  • 1

在这里插入图片描述
可以看到环境已经成功迁移到目标主机并且可以使用了
————————————————

三、Ubuntu Windows中pytorch安装技巧、各种版本、完整安装、快速高效

pytorch安装

在Ubuntu、Windows开发环境,尤其是按照官网教程,安装pytorch并不是一件容易的事,下面介绍一种简单高效的安装技巧,本人有着管理大规模服务器的经验,也安装过各种环境、各种版本的pytorch几十次了。
官网给出的教程非常简单:

pip install torch
pip install torchvision

  
  
    
    
    
    
  • 1
  • 2

以上命令会下载最新版的torch,命令虽然简单,但是存在一个致命的问题就是:下载过程中,经常会timeout(网络超时)。建议大家用以下方式进行安装。

ubuntu环境(服务器就下载linux系统的)(√)

首先,点击以下连接,下载指定版本的torch和torchvision,torch大约500M,torchvision非常小,torch下载的时候建议用迅雷下载,稳定、快速,真的好用。并且这种方式下载的whl文件可以保存到本地,以后可以继续使用。
torch下载链接:https://download.pytorch.org/whl/torch_stable.html
在这里插入图片描述
torch跟torchvision的有相应的对应官方推荐版本,如何确定两者之间对应的合适版本呢?有一个小技巧就是torch跟torchvision的最新版本从后往前数!因为每推出一个新版的torch,就会有一个版本的torchvision。
torch跟cuda版本和非cuda版本,注意这个。
下载完成后,找到两个whl所在的目录,执行以下命令。注意:torch的安装依赖numpy、six等,所以执行以下命令之前,最好手动安装numpy、six等,如果没有numpy、six等,pip会自动安装,但是很慢。

pip install torch-1.4.0-cp36-cp36m-linux_x86_64.whl
pip install torchvision-0.5.0-cp36-cp36m-linux_x86_64.whl --no-deps

  
  
    
    
    
    
  • 1
  • 2

–no-deps 参数是为了不安装其他依赖,如果需要手动安装即可。用以下方式安装

pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

  
  
    
    
    
    
  • 1

加入清华的临时源。
以上即可完成ubuntu的安装,多做一点说明,anconda和virtualenv虚拟环境,要进入虚拟环境之后,再安装。

windows环境

windows环境安装如ubuntu安装过程一样,一定要选择好windows版本,在cmd命令行中操作即可。

你看完咯!!!真棒: Alt

四、环境不知道怎么回事,环境乱了怎么办(√)

1、首先看看自己的cuda的版本和torch的版本是不是对应不起来,对应不起来就去官网冲重新下载

查看cuda版本

nvcc --version

  
  
    
    
    
    
  • 1

或者

nvidia-smi

  
  
    
    
    
    
  • 1

在这里插入图片描述

conda env list

  
  
    
    
    
    
  • 1

在这里插入图片描述

conda activate pytorch36

  
  
    
    
    
    
  • 1

在这里插入图片描述

pip list

  
  
    
    
    
    
  • 1

在这里插入图片描述

2、对应不起来就去官网重新下载安装(比如我的适配的是cuda10.1)

在这里插入图片描述
(完事 结束)

五、服务器使用(常用命令)

六、参考链接

参考链接1:https://blog.csdn.net/luochao5862426/article/details/121257673
参考链接2:https://blog.csdn.net/cwtnice/article/details/118719461

你可能感兴趣的:(python,virtualenv,conda)