Swin-Transformer分类源码(已跑通)

这是跑通的分割源码介绍，大家有需要可以参考一下
1、Swin-Transformer分割源码(已跑通) 
2、关于swin transformer原理的一些补充理解
3、Swin-Unet(分割改编)

一. 概要

• 最近swin-transformer大火，代码开源两天，girhub直接飙到1.9k。估计接下来关于和swin-transformer相结合的各种网络结构paper就要出来了，哈哈，我也是其中的一员，拼手速吧各位。它的原理网上的博客已经讲的非常的细致了，甚至还有带着读源代码的。这些大佬真的很强，下面会放一些本人读过的非常有助于理解的博客。我在这里主要分享的是官方源码如何跑通，跑通它的代码还是非常不容易的，有很多的小坑。对于我们小白而言，跑通代码才能给我们继续了解原理的信心，然后也可以大胆的debug，去验证里面的代码是否与论文所述的一致。

二. 正文

1. 相关博客分享

A、与代码相关的讲解

(1)、CV+Transformer之Swin Transformer ，这篇是知乎一个大佬最早分享的关于swin-transformer代码讲解的博客。这里面的代码不是官方开源的代码，算是野生代码。但也很有助于对swin-transformer的理解，大家可以参考。
(2)、图解Swin Transformer，这篇是关于官方源代码的讲解了，主要讲的是swin-transformer的结构。

B、与论文原理相关的讲解

2021-Swin Transformer Attention机制的详细推导 这篇博客相当详尽，也是最近才发现的，里面竟然手推了复杂度的计算公式，还有一些attention mask的计算，可以参考一波儿。
想要好好理解swin-transformer真的非常建议论文和代码结合着读，相互印证，才可以更好的理解，也方便自己魔改，各种应用。

2、官方swin-transformer源码

戳右边：Swin-Transformer源码
对了，我主要分享关于分类应用的代码。分类问题比较简单，利用这个任务去了解swin-transformer再合适不过了。

这里给个中文版的步骤吧

配置环境

• 把这份代码clone到你的服务器上，或者本地

git clone https://github.com/microsoft/Swin-Transformer.git
cd Swin-Transformer

• 创建运行环境，并进入环境

conda create -n swin python=3.7 -y
conda activate swin

• 安装需要的环境

conda install pytorch==1.7.1 torchvision==0.8.2 cudatoolkit=10.1 -c pytorch

这里注意一下自己的环境，我这边的cuda是10.1的，所以可以直接按着官方给的这个来。怎么看自己的cuda环境呢，有很多种方法，最靠谱的是这个：

cat /usr/local/cuda/version.txt

别看nvidia-smi的那个，那个不准。

• 安装 timm==0.3.2:

pip install timm==0.3.2

好了，大头来了，坑爹的apex，安装它是相当的难受。
我是在另一台服务器上玩儿不来，然后换了一台又可以了，挺迷的。大伙儿可以先按照官方的那个操作来，如果安装不了，可以下载我这边提供的apex文件，然后再按照官方的那个操作再来一遍。注意啊，apex安装不成功的原因基本就是cuda版本和torch版本不匹配，这个我已经有心理阴影了，在这里不多提。假设你这边下载了我这边的apex文件，尽量和我一致吧，把apex文件放在swin-transformer这个代码文件之外，别掺和在一起。然后按照以下操作：

cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

继续安装其他环境

pip install opencv-python==4.4.0.46 termcolor==1.1.0 yacs==0.1.8

环境配置完毕！！！

数据集

官方这边匹配代码的数据集是imagenet，但是imagenet太大了，咱只是想跑通一下，然后看看里面的源码咋回事儿，感觉感觉，犯不着去下载这么大的数据。真羡慕你们能看到这篇博客，来来来，我这儿提供了小型版的imagenet的数据集，统一放到下面了，百度网盘自取。

运行代码

有了数据，有了代码，那就运行了

首先是训练的运行方式：

python -m torch.distributed.launch --nproc_per_node 4 --master_port 12345 main.py --cfg configs/swin_tiny_patch4_window7_224.yaml --data-path imagenet --batch-size 64

--data-path对应的就是数据文件所在的位置

然后是测试的运行方式：

python -m torch.distributed.launch --nproc_per_node 1 --master_port 12345 main.py --eval --cfg configs/swin_tiny_patch4_window7_224.yaml --resume /pth/swin_tiny_patch4_window7_224.pth --data-path imagenet

补充一个你可能遇到的bug，CalledProcessError & RuntimeError。遇到这个bug的原因就是上面的命令里面写的有问题，比如路径写错了或者压根儿路径对应的文件就不存在，那么就会报这样的错误，大家注意！！！

swin-transformer文件目录

这就是从官方源码那边clone下来的，区别在于我这里加了个pth文件，就是模型文件，我提供的百度网盘文件里面有，还有imagenet文件夹，这里面放着数据。

所传百度网盘的界面

这是从网盘下载下来的东西，apex就别放在swin-transformer文件里面了，跟它并行就好。然后数据文件解压缩之后，记得改名为imagenet。

链接：https://pan.baidu.com/s/1N0HmEqYcjtgU6vA3ZrJbSQ
提取码：uwew

好了！！！这样操作下来大概率是可以跑通的