Pytorch学习--组队学习-笔记

第一章 pytorch简介和安装

1.1 pytorch简介

pytorch是一种深度学习库,是简洁且高效快速的框架。

1.2 pytorch的安装

Anaconda/miniconda + pytorch + IDE

1.2.1 Anaconda的安装

anaconda集成了常用于科学分析(机器学习, 深度学习)的大量package,并且借助于conda我们可以实现对虚拟Python环境的管理。
进入anaconda官网下载相应系统的版本。在开始页找到Anaconda Prompt,就说明安装成功。

  1. 创建虚拟环境,命令为:conda create -n env_name python==version【创建不同的环境是为了满足我们的不同的需求,比如有些项目要求我们的python版本为2.x,而有的项目要求python版本为3.x】;
  2. 查看虚拟环境,命令为:conda env list;
  3. 删除虚拟环境,命令为:conda remove -n env_name --all;
  4. 安装包以及卸载包的命令为:conda install/remove package_name;
  5. 显示所有安装的包:conda list;
  6. 激活环境命令:conda activate env_name;
  7. 退出当前环境:conda deactivate;
  8. 有关更多conda的命令,请查看conda命令。

换源

  1. 为什么要换源?下载package时,下载速度会很慢,因此要进行换源,加快我们的下载速度。

  2. 换源步骤:
    pip换源
    Linux:
    Linux下的换源,我们首先需要在用户目录下新建文件夹.pip,并且在文件夹内新建文件pip.conf,具体命令如下
    cd ~
    mkdir .pip/
    vi pip.conf
    随后,我们需要在pip.conf添加下方的内容:
    [global]
    index-url = http://pypi.douban.com/simple
    [install]
    use-mirrors =true
    mirrors =http://pypi.douban.com/simple/
    trusted-host =pypi.douban.com

    Windows:
    1、文件管理器文件路径地址栏敲:%APPDATA% 回车,快速进入 C:\Users\电脑用户\AppData\Roaming 文件夹中 2、新建 pip 文件夹并在文件夹中新建 pip.ini 配置文件 3、我们需要在pip.ini 配置文件内容,我们可以选择使用记事本打开,输入以下内容,并按下ctrl+s保存,在这里我们使用的是豆瓣源为例子。

    [global]
    index-url = http://pypi.douban.com/simple
    [install]
    use-mirrors =true
    mirrors =http://pypi.douban.com/simple/
    trusted-host =pypi.douban.com
    conda换源(清华源)
    Windows系统:
    TUNA 提供了 Anaconda 仓库与第三方源的镜像,各系统都可以通过修改用户目录下的 .condarc 文件。Windows 用户无法直接创建名为 .condarc 的文件,可先执行conda config --set show_channel_urls yes生成该文件之后再修改。完成这一步后,我们需要修改C:\Users\User_name.condarc这个文件,打开后将文件里原始内容删除,将下面的内容复制进去并保存。

channels:

  • defaults
    show_channel_urls: true
    default_channels:
  • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  • https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
    custom_channels:
    conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
    msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
    bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
    menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
    pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
    simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

这一步完成后,我们需要打开Anaconda Prompt 运行 conda clean -i 清除索引缓存,保证用的是镜像站提供的索引。

Linux系统:
在Linux系统下,我们还是需要修改.condarc来进行换源
cd ~
vi .condarc
在vim下,我们需要输入i进入编辑模式,将上方内容粘贴进去,按ESC退出编辑模式,输入:wq保存并退出
我们可以通过conda config --show default_channels检查下是否换源成功,如果出现下图内容,即代表我们换源成功。
同时,我们仍然需要conda clean -i 清除索引缓存,保证用的是镜像站提供的索引。

1.2.2 查看显卡

windows
我们可以通过在cmd/terminal中输入nvidia-smi(Linux和Win命令一样)、使用NVIDIA控制面板和使用任务管理器三种方式来查看自己是否有NVIDIA的独立显卡及其型号。
Linux
在终端输入nvidia-smi。

1.2.3 安装pytorch

在pytorch官网选择适合自己的方式下载适合自己系统的版本。打开Terminal,输入conda activate env_name,激活环境并切换到环境下面,我们就可以进行PyTorch的安装了。
注:

  1. Stable代表的是稳定版本,Preview代表的是先行版本;
  2. 可以结合电脑是否有显卡,选择CPU版本还是CUDA版本,CUDA版本需要拥有独显且是NVIDIA的GPU。
  3. 官方建议我们使用Anaconda/miniconda来进行管理
  4. 关于安装的系统要求
  5. Windows:Windows 7及更高版本;建议使用Windows 10或者更高的版本;Windows Server 2008 r2 及更高版本
  6. Linux:以常见的CentOS和Ubuntu为例, CentOS, 最低版本7.3-1611;Ubuntu, 最低版本 13.04,这里会导致cuda安装的最大版本不同
  7. macOS:macOS 10.10及其以上
  8. 有些电脑所支持的cuda版本<10.2,此时我们需要进行手动降级,即就是cudatoolkit = 你所适合的版本,但是这里需要注意下一定要保持PyTorch和cudatoolkit的版本适配。查看Previous PyTorch Versions | PyTorch。
    可以选择在线下载和离线下载两种方式来下载。
  9. 若没有安装成功,则可以根据提示信息来进行后面的步骤,比如我在安装过程中出现了“PackagesNotFoundError: The following packages are not available from current channels: ” torchaudio包没有在上述的channel找到,我根据后面的提示信息在anaconda官网上找到了这个包的下载指令,安装成功了。
  10. 进入所在的虚拟环境,先输入python,在输入下面的代码。
    import torch
    torch.cuda.is_available()
    这条命令意思是检验是否可以调用cuda,如果我们安装的是CPU版本的话会返回False,能够调用GPU的会返回True。一般这个命令不报错的话就证明安装成功。

1.2.4 安装pycharm

  1. 进入pycharm官网下载对应的版本,一般下载社区版本。
  2. 配置环境
    我们需要将虚拟环境设为我们的编译器,具体操作:File --> Settings --> Project:你的项目名称–> Python Interpreter

进去后,我们可以看见他使用的是默认的base环境,现在我们需要将这个环境设置成我们的test环境,点击齿轮,选择Add。
点击Virtualenv Environment ,选择Existing environment,将Interpreter设置为test环境下的python.exe。
注:如果在pycharm的环境时,想进入我们的虚拟环境,要使用conda activate 名称。

1.3 pytorch的学习资源

  1. Awesome-pytorch-list:目前已获12K Star,包含了NLP,CV,常见库,论文实现以及Pytorch的其他项目。
  2. PyTorch官方文档:官方发布的文档,十分丰富。
  3. Pytorch-handbook:GitHub上已经收获14.8K,pytorch手中书。
  4. PyTorch官方社区:PyTorch拥有一个活跃的社区,在这里你可以和开发pytorch的人们进行交流。
  5. PyTorch官方tutorials:官方编写的tutorials,可以结合colab边动手边学习
  6. 动手学深度学习:动手学深度学习是由李沐老师主讲的一门深度学习入门课,拥有成熟的书籍资源和课程资源,在B站,Youtube均有回放。
  7. Awesome-PyTorch-Chinese:常见的中文优质PyTorch资源

你可能感兴趣的:(pytorch学习笔记,pytorch,学习,python)