Taskonomy迁移学习论文实验环境配置

Taskonomy迁移学习论文实验环境配置

关于《Taskonomy: Disentangling Task Transfer Learning》论文代码环境的配置,为了不枉费我两个下午的辛苦,记录一下下。

论文简介

这篇论文是个大工程,用完全计算的方法算出深度网络模型间的参数关系,以判断迁移学习后的效果,花了好几年。其结论可以用作好多后续研究的ground truth,具体内容参见文章了。这是官方网站,git代码在此。

环境配置

不得不说,如果一个项目共花10天,配环境就得1天:)
win11+CPU+VScode,在VScode的终端操作

1、克隆仓库

clone下git仓库,把readme看看清楚。如果觉得直接按requirement.txt装即可,那太天真了(按理如此,但我失败了)。如果完全不按requirement.txt,那更天真,会发现库的版本互相不适配,别问我怎么知道的。。。

2、设虚拟环境
conda create -n taskonomy python=3.6
activate taskonomy

python不能用3.4,因为3.4不支持tensorflow1.5

3、设置镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --set show_channel_urls yes

清华镜像设置一下,不然requirement.txt没法直接安装

4、单独装scikit-image
conda install scikit-image==0.12.3

本来都用pip装,但这个pip死活装不上,用conda可以

5、终于可以上pip了

requirement.txt中把botocore版本改成1.8.46,不然会版本冲突报错。
把scikit-image那行删了(因为之前装好了),然后:

pip install -r requirement.txt
6、安装模型库
pip install visualpriors

我是在2022年操作的,已经不能在原模型数据网址上下到它的模型了(给一作发邮件但他说他仍然可以下到,迷惑)。在readme中说是封装成包visualpriors了,于是安装它的封装包。

封装包的使用

模型参数文件

因为原来模型路径没了,所以原代码很多不能用,在这里介绍了封装包的使用。按照他的代码运行时,会自动下载.pth模型文件,存的是模型训练好的参数。我的电脑自动下载到了:

C:\Users\???\.cache\torch\hub\checkpoints

其中???就是自己的电脑用户名。
其实他就是在该网站下的啦~

模型结构

我是要把它的模型用到别的地方,所以没法直接用封装包。模型要跑起来不仅要参数,还要结构,但他没给也不知道从哪下。为此我翻了它的项目源码(真的好长!!),然后一无所获。。。最终我老师说,它的封装包能跑起来,模型结构肯定在包的源码里。仔细看visualpriors包的实现源码(其实也就两个.py文件),那里面有!终于找到了!

后记

在配环境时看了无数CSDN、overflow,第一次自己写,呼!

你可能感兴趣的:(迁移学习,python,人工智能)