配置服务器pytorch/TensorFlow环境+远程连接vscode

前言:配置环境这种东西比较玄学,以下记录的是个人总结的一点操作经验,后续这个板块有新的问题和发现也会更新blog,欢迎评论指正和点赞支持~


 

目录

关于软件下载

服务器TensorFlow、pytorch环境配置

VScode远程连接


关于软件下载

1、EasyConnect:这个是用来连接你们学校网关的(俗称),你本来就在学校的话就跳过。

 

2、Xshell:这个本来是用来远程操作服务器环境的,但是后面要用到vscode远程连接的话,这个软件的作用就在于:上传paper代码(或者某一天vscode挂了这个也可以救急)。记忆里这个软件要钱,只能试用一个月貌似,我这个好像是师兄给的软件,不知道是不是试用期,反正先用着吧。

3、vscode:由于轻便并且功能强大,我放弃了pycharm(关键是还要钱,连社区版本都只能试用了貌似)转vscode了,这个可以解放你的大脑和双手,毕竟改代码再也不用vim了。


服务器TensorFlow、pytorch环境配置

1、在easyconnect里面输入你们学校的服务器地址(网关)、导师给你分配的账号和密码,先让学校知道你是自己人:

配置服务器pytorch/TensorFlow环境+远程连接vscode_第1张图片

2、打开Xshell新建一个会话如下图,接着输入导师给你分配的用户名和密码,if一切顺利那么你就连接服务器成功了。but,我在连接的时候被拒绝了好多次(密码错误),后来发现是导师没和我说清楚主机IP,so,有问题自己实在解决不了记得问师兄师姐和导师:)。

配置服务器pytorch/TensorFlow环境+远程连接vscode_第2张图片配置服务器pytorch/TensorFlow环境+远程连接vscode_第3张图片

 3、正式进入环境配置


我是在Xshell里面完成这些安装配置的(远程连接vscode我是放在了最后),不过按道理也可以先搞好远程连接vscode再直接在vscode里面操作。


(1)anaconda

  • 首先你需要下载并安装一个anaconda(现在一般是3),通常来说下载了这个以后什么python解释器、python各种包也有了。我原先以为服务器home下面有anaconda的,发现并不是。所以你先到自己的家目录下(如上右图所示)。
  • 先在本地浏览器(百度搜索anaconda)中下载.sh文件,然后通过Xshell文件传输命令rz将该文件传到服务器,接着在服务器端执行.sh文件(执行下述bash命令),一路yes或者enter键安装。
bash Anaconda3-2022.05-Linux-x86_64.sh
  •  接着将anaconda加入服务器的环境变量(因为只有这样你的conda命令才能起作用,否则就会出现Windows下“不是内部或者外部命令”的报错):

配置服务器pytorch/TensorFlow环境+远程连接vscode_第4张图片

        配置环境过程如下,这里对最最基本的vi命令有一点要求,当然你可以百度(下图这种图片都是借鉴 在远程服务器安装anoconda并创建tensorflow-gpu环境并运行jupyter_liu jiaxian的博客-CSDN博客_远程服务器安装tensorflow

配置服务器pytorch/TensorFlow环境+远程连接vscode_第5张图片

 最后输入命令 conda --version(注意俩-) 检验anaconda是否安装成功。此时你所处的是默认的base环境,输入命令 python -V(注意大V)查看anaconda自带的python版本。


插播一下:在Linux命令行里面有几个常用快捷tip在此记录一下(这样再也不用左箭头敲到手麻了):

ctrl+左箭头 让光标跳到当前单词的开头
ctrl+右箭头 让光标跳到当前单词的末尾
ctrl+a 让光标跳到当前命令的开头
ctrl+e 让光标跳到当前命令的末尾

另外关于conda/pip几个常用命令在此记录一下,之所以强调一个“当前环境”,是因为你在不同的虚拟环境使用下列命令那么作用对象就是对应的虚拟环境:

conda/pip install 包名 (在当前环境)安装包
conda/pip uninstall 包名 (在当前环境)卸载包
conda/pip list 列举出(在当前环境)conda/pip安装过的包

(2)配置pytorch/TensorFlow环境

  • 首先可以将清华/中科大源设置为默认下载源,毕竟安装包的默认源下载太慢了,以设置清华源为例:
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/
    conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
    conda config --set show_channel_urls yes
    

    默认下载镜像源设置好了以后,你在任何一个虚拟环境下载软件或者包都是从这个源下载的。当然你也可以不更改默认的下载源,而是每次下载包的时候都在命令后面添加镜像源地址(也没有很费事)。以上所述是针对conda的,当然pip也有这一套,这篇blogpip使用中科大源、清华源或修改默认源为中科大源、清华源_壹万1w的博客-CSDN博客_中科大源写的很好了,我就不重复造轮子啦!不过我在网上看到说2019年的时候清华源关闭了,现在好像可以用,后续发生什么变动我也会及时在这里更新,尽量不造成误导~

  • 接着就可以真正开始创建和配置环境了。首先是conda关于虚拟环境的一些常用命令:

    1、查看你的家目录下有哪些虚拟环境:

    conda env list
    2、激活虚拟环境env1: conda activate env1
    3、失活当前虚拟环境: conda deactivate
    4、创建一个虚拟环境env1: conda create --name(-n) env1 python=xxx
    5、删除一个虚拟环境env1:

    conda remove --name(-n) env1 --(俩-)all

    6、修改虚拟环境env1的名字为env2(这个暂时没办法直接修改):

    conda create --name(-n) env2 -clone env1

    conda remove --name(-n) env1 -all 

        conda create 这个命令后面这个python=xxx很重要,因为这代表了你的虚拟环境将会使用的python版本,如果你不指明的话就会默认使用anaconda里面的python版本,这个会直接导致你后面的pytorch以及TensorFlow因为python版本原因而挂掉。如果你指定的虚拟环境python版本和anaconda里面自带的版本不一样,那系统会帮你下载安装你指定版本的python。

         虚拟环境创建好了,就要往里面放东西了。现在执行 conda activate 虚拟环境名 切换到你刚刚创建的虚拟环境中,然后用conda/pip下载安装你要的TensorFlow或者pytorch版本,我以pip TensorFlow为例:

pip install tensorflow-gpu==2.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

这个是临时使用了清华源。要下载安装的包的版本同样你是可以指定的,如果服务器有cuda那就可以下载gpu版本的,如果你要使用GPU加速那就还得安装下面这两个,针对pytorch还有torchvision,这个后面你用到的话再下载也行:

配置服务器pytorch/TensorFlow环境+远程连接vscode_第6张图片

cuda版本和TensorFlow以及pytorch版本在各自的官网都有说明。


插播一下:

1、pip和conda:我的感觉是两个效果一样。不过pip的使用范围会更广,但是conda使用的前提是你在conda环境中(也就是说下载安装了anaconda或者minianaconda),就比如在Windows终端pip可以随便用但是conda不行 。

2、在下载pytorch或者TensorFlow的时候,一定一定要指明版本,不然它会默认下载最新版本(或者和当前anaconda匹配的版本)。特别是我们要跑paper代码的时候,论文中要求的深度学习框架版本以及python版本一定要按照它说的来,不然代码跑不通(当然大神可以手动改代码)


VScode远程连接

1、安装Remote-SSH并配置并配置

  • 安装SSH:直接看下面这个blog的前前前半部分,安装development利用VScode连接远程服务器进行代码调试及可视化界面_yaoyz105的博客-CSDN博客_vscode可视化调试
  •  配置config文件:我也是后来才知道,.ssh这个文件夹是需要你去本地用户目录下手动创建的,你创建好了之后里面自动就会有config文件(应该是的,如果没有那就手动创建config文件叭,文件夹和文件都不要加后缀名!!!)config文件的配置内容也可见上面这篇blog。

2、连接(登录)服务器 

  • 最开始的时候,我看了网上说的,把下面这个打对钩:

配置服务器pytorch/TensorFlow环境+远程连接vscode_第7张图片

 于是就出现了下面几个图这种情况:

配置服务器pytorch/TensorFlow环境+远程连接vscode_第8张图片  

配置服务器pytorch/TensorFlow环境+远程连接vscode_第9张图片

  •  于是我又在网上搜了一波资料,终于,解决办法竟是

配置服务器pytorch/TensorFlow环境+远程连接vscode_第10张图片 然后输入密码的位置就到了屏幕正上方,输入密码之后就和xshell操作一样了。配置服务器pytorch/TensorFlow环境+远程连接vscode_第11张图片配置服务器pytorch/TensorFlow环境+远程连接vscode_第12张图片 

  • 如何测试连接是否成功、如何设置打开vscode自动连接服务器、如何使用pub密钥使得vscode免密码登录服务器以及如何在vscode中使用jupyter,这些可以参考上述我参考到的blog链接,后续我用到了也会继续补充。 

 配置服务器pytorch/TensorFlow环境+远程连接vscode_第13张图片

 


硬核补充:

1、如果你搞好了vscode远程连接发现代码功能异常,如不能“跳转到函数定义”(就是那个module都是白色字体,而本地上打开vscode的时候module该绿的绿该紫的紫 ),再如你发现远程连接的时候不可以设断点debug(简直是IT狗的灾难!!!),那么,请这样操作:

配置服务器pytorch/TensorFlow环境+远程连接vscode_第14张图片

这个时候各个module以及函数该高亮的都高亮了,并且在文件的最左边,鼠标停留的话会出现小红点(断点)。不过,紧接着我又遇到了一个问题,就是原先不报错的模块,现在报import错误,经过查阅资料,发现是安装了python扩展之后我们程序的python解释器也会跟着改变,不过别急,我们可以人为选定自己需要的python解释器版本:

  1. 键盘上按快捷键:Ctrl + shift + P,调出“设置”
  2. 输入:Python:Select Interpreter(复制这个!)
  3. 选择合适的Python解释器

配置服务器pytorch/TensorFlow环境+远程连接vscode_第15张图片 

ps:有无和我一样用的联想yoga7系列电脑的呀 ~咱们的电脑快捷键全被占了(比如F12竟然是计算器,对,就是键盘上那个计算器图标),这个时候,请同时按住【Fn】+【Esc】,把快捷键自由权夺回来!Esc小灯灯亮了说明我们可以正常使用快捷键了(比如vscodeF12跳到函数定义)

所以怎么在vscode里面debug呢? 

不能保存草稿,这个坑先留着呜,后面再来填! 

 

你可能感兴趣的:(一点非IT技术经验)