前言:配置环境这种东西比较玄学,以下记录的是个人总结的一点操作经验,后续这个板块有新的问题和发现也会更新blog,欢迎评论指正和点赞支持~
目录
关于软件下载
服务器TensorFlow、pytorch环境配置
VScode远程连接
1、EasyConnect:这个是用来连接你们学校网关的(俗称),你本来就在学校的话就跳过。
2、Xshell:这个本来是用来远程操作服务器环境的,但是后面要用到vscode远程连接的话,这个软件的作用就在于:上传paper代码(或者某一天vscode挂了这个也可以救急)。记忆里这个软件要钱,只能试用一个月貌似,我这个好像是师兄给的软件,不知道是不是试用期,反正先用着吧。
3、vscode:由于轻便并且功能强大,我放弃了pycharm(关键是还要钱,连社区版本都只能试用了貌似)转vscode了,这个可以解放你的大脑和双手,毕竟改代码再也不用vim了。
1、在easyconnect里面输入你们学校的服务器地址(网关)、导师给你分配的账号和密码,先让学校知道你是自己人:
2、打开Xshell新建一个会话如下图,接着输入导师给你分配的用户名和密码,if一切顺利那么你就连接服务器成功了。but,我在连接的时候被拒绝了好多次(密码错误),后来发现是导师没和我说清楚主机IP,so,有问题自己实在解决不了记得问师兄师姐和导师:)。
3、正式进入环境配置
我是在Xshell里面完成这些安装配置的(远程连接vscode我是放在了最后),不过按道理也可以先搞好远程连接vscode再直接在vscode里面操作。
(1)anaconda
bash Anaconda3-2022.05-Linux-x86_64.sh
配置环境过程如下,这里对最最基本的vi命令有一点要求,当然你可以百度(下图这种图片都是借鉴 在远程服务器安装anoconda并创建tensorflow-gpu环境并运行jupyter_liu jiaxian的博客-CSDN博客_远程服务器安装tensorflow
最后输入命令 conda --version(注意俩-) 检验anaconda是否安装成功。此时你所处的是默认的base环境,输入命令 python -V(注意大V)查看anaconda自带的python版本。
插播一下:在Linux命令行里面有几个常用快捷tip在此记录一下(这样再也不用左箭头敲到手麻了):
ctrl+左箭头 | 让光标跳到当前单词的开头 |
ctrl+右箭头 | 让光标跳到当前单词的末尾 |
ctrl+a | 让光标跳到当前命令的开头 |
ctrl+e | 让光标跳到当前命令的末尾 |
另外关于conda/pip几个常用命令在此记录一下,之所以强调一个“当前环境”,是因为你在不同的虚拟环境使用下列命令那么作用对象就是对应的虚拟环境:
conda/pip install 包名 | (在当前环境)安装包 |
conda/pip uninstall 包名 | (在当前环境)卸载包 |
conda/pip list | 列举出(在当前环境)conda/pip安装过的包 |
(2)配置pytorch/TensorFlow环境
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/
conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes
默认下载镜像源设置好了以后,你在任何一个虚拟环境下载软件或者包都是从这个源下载的。当然你也可以不更改默认的下载源,而是每次下载包的时候都在命令后面添加镜像源地址(也没有很费事)。以上所述是针对conda的,当然pip也有这一套,这篇blogpip使用中科大源、清华源或修改默认源为中科大源、清华源_壹万1w的博客-CSDN博客_中科大源写的很好了,我就不重复造轮子啦!不过我在网上看到说2019年的时候清华源关闭了,现在好像可以用,后续发生什么变动我也会及时在这里更新,尽量不造成误导~
接着就可以真正开始创建和配置环境了。首先是conda关于虚拟环境的一些常用命令:
1、查看你的家目录下有哪些虚拟环境: |
conda env list |
2、激活虚拟环境env1: | conda activate env1 |
3、失活当前虚拟环境: | conda deactivate |
4、创建一个虚拟环境env1: | conda create --name(-n) env1 python=xxx |
5、删除一个虚拟环境env1: | conda remove --name(-n) env1 --(俩-)all |
6、修改虚拟环境env1的名字为env2(这个暂时没办法直接修改): |
conda create --name(-n) env2 -clone env1 conda remove --name(-n) env1 -all |
conda create 这个命令后面这个python=xxx很重要,因为这代表了你的虚拟环境将会使用的python版本,如果你不指明的话就会默认使用anaconda里面的python版本,这个会直接导致你后面的pytorch以及TensorFlow因为python版本原因而挂掉。如果你指定的虚拟环境python版本和anaconda里面自带的版本不一样,那系统会帮你下载安装你指定版本的python。
虚拟环境创建好了,就要往里面放东西了。现在执行 conda activate 虚拟环境名 切换到你刚刚创建的虚拟环境中,然后用conda/pip下载安装你要的TensorFlow或者pytorch版本,我以pip TensorFlow为例:
pip install tensorflow-gpu==2.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
这个是临时使用了清华源。要下载安装的包的版本同样你是可以指定的,如果服务器有cuda那就可以下载gpu版本的,如果你要使用GPU加速那就还得安装下面这两个,针对pytorch还有torchvision,这个后面你用到的话再下载也行:
cuda版本和TensorFlow以及pytorch版本在各自的官网都有说明。
插播一下:
1、pip和conda:我的感觉是两个效果一样。不过pip的使用范围会更广,但是conda使用的前提是你在conda环境中(也就是说下载安装了anaconda或者minianaconda),就比如在Windows终端pip可以随便用但是conda不行 。
2、在下载pytorch或者TensorFlow的时候,一定一定要指明版本,不然它会默认下载最新版本(或者和当前anaconda匹配的版本)。特别是我们要跑paper代码的时候,论文中要求的深度学习框架版本以及python版本一定要按照它说的来,不然代码跑不通(当然大神可以手动改代码)
1、安装Remote-SSH并配置并配置
2、连接(登录)服务器
于是就出现了下面几个图这种情况:
然后输入密码的位置就到了屏幕正上方,输入密码之后就和xshell操作一样了。
1、如果你搞好了vscode远程连接发现代码功能异常,如不能“跳转到函数定义”(就是那个module都是白色字体,而本地上打开vscode的时候module该绿的绿该紫的紫 ),再如你发现远程连接的时候不可以设断点debug(简直是IT狗的灾难!!!),那么,请这样操作:
这个时候各个module以及函数该高亮的都高亮了,并且在文件的最左边,鼠标停留的话会出现小红点(断点)。不过,紧接着我又遇到了一个问题,就是原先不报错的模块,现在报import错误,经过查阅资料,发现是安装了python扩展之后我们程序的python解释器也会跟着改变,不过别急,我们可以人为选定自己需要的python解释器版本:
ps:有无和我一样用的联想yoga7系列电脑的呀 ~咱们的电脑快捷键全被占了(比如F12竟然是计算器,对,就是键盘上那个计算器图标),这个时候,请同时按住【Fn】+【Esc】,把快捷键自由权夺回来!Esc小灯灯亮了说明我们可以正常使用快捷键了(比如vscodeF12跳到函数定义)
所以怎么在vscode里面debug呢?
不能保存草稿,这个坑先留着呜,后面再来填!