SWIN

NeurIPS 2021 | 超越Swin！微软提出Focal Transformer：又一超强主干网络！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：极市平台|作者：小马导读本文提出了FocalSelf-Attention，对当前token周围的区域进行细粒度的关注，对离当前token较远的区域进行粗粒度的关注，用这样的方式来更加有效的捕获局部和全局的注意力。基于FSA，作者提出了FocalTransformer，并在分类、检测、分割任务上都验证了结构的有效性。写在前面
Amusi（CVer）·2022-11-29 07:00

超越Swin，Transformer屠榜三大视觉任务！微软推出新作：Focal Self-Attention

作者丨小马编辑丨极市平台写在前面VIsionTransformer（ViT）和它的一系列变种结构在CV任务中取得了不错的成绩，在其中，Self-Attention（SA）强大的建模能力起到了很大的作用。但是SA的计算复杂度是和输入数据的大小呈平方关系的，所以针对一些需要高分辨率的CV任务（e.g.,检测、分割），计算开销就会很大。目前的一些工作用了局部注意力去捕获细粒度的信息，用全局注意力去捕获粗
极市平台·2022-11-29 07:27

Swin Transformer目标检测实验——测试自己的数据集

测试自己的数据集1、上集回顾2、数据集地址3、遇到的问题和解决方法总结1、上集回顾SwinTransformer目标检测实验——环境配置的步骤和避坑既然环境什么的配好了，现在就该跑一下模型啦！2、数据集地址大佬的步骤：在这儿数据集：在这儿数据集的下载需要来注册账号，都是免费的（PS：我是找朋友帮忙下的，有谁找到能用的教程评论区留个言哈！）3、遇到的问题和解决方法其实这个实验大多数跟着b站up的教学
想太多!·2022-11-29 07:31

Swin Transformer目标检测实验——环境配置的步骤和避坑

SwinTransformer1.网上基础教程（带视频讲解）2.配置虚拟环境时遇到的一些问题（按操作顺序排列）1.网上基础教程（带视频讲解）大家是不是都从b站来的呀，先给你们基础环境的配置和搭配的视频教程首先是教程网页：SwinTransformer目标检测——环境配置跟着这个教程就能成功搭建好SwinTransformer的基础环境（我就跟着这玩意敲出来的，实测有效哦！）看不懂的没关系，搭配b站
想太多!·2022-11-28 04:12

Swin Transformer理论讲解

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowsZeLiu,YutongLin,YueCao,HanHu,YixuanWei,ZhengZhang,StephenLin,BainingGuoMicrosoftResearchAsia本文提出了一个新的视觉Transformer，称为SwinTransformer，它可以
Le0v1n·2022-11-27 19:40

通俗理解swin transformer

爆火的SwinTransformer到底做对了什么-知乎简单易懂在图像领域，swintransformer相较于原生transformer的时间复杂度理解（对图像分辨率是线性复杂度）
King的王国·2022-11-27 19:03

Swin Transformer

文章目录1.题目和作者2.摘要3.引言4.结论5.模型5.1PatchMerging6.基于移动窗口的自注意力6.1计算复杂度对比6.2移动窗口7.实验1.题目和作者SwinTransformer论文pdf版SwinTransformer论文网址SwinTransformer代码文章标题：SwinTransformer:HierarchiaclVisionTransformerusingShift
没有难学的知识·2022-11-27 19:01

swin-transformer初步理解

一、初步介绍近期Transformer在CV领域掀起了一股热潮，从图像分类的ViT，到目标检测的DETR，再到图像分割的SETR以及3D人体姿态的METRO，预计在未来所有CNN能干的事情，都会涌现出一大批论文。虽然灌水总是存在的，但客观上的确也一定程度上推进了AI领域技术和方法的融合与发展。回到正题，虽然这些针对不同任务设计的Transformer的确把CNN的活儿给干了，但其原生Self-At
追光少年羽·2022-11-27 19:31

Swin Transformer算法解读

目录一、Swin-Transformer整体架构二、PatchEmbedding三、Swin-TransformerBlock（1）cyclicshift特征图移位操作（2）windowpartition
benben044·2022-11-27 19:31

理解Swin Transformer（结合代码）

1.整体结构1）输入一张RGB彩色图片2）经过PatchEmbed层得到shape=[H/4,W/4,embed_dim]的特征矩阵3）通过循环设置的BasicLayer（SwinTransformerBlock+PatchMerging）结构得到shape=[H/32,W/32,embed_dim*8]的提取出来的特征图4）通过最后的head进行分类，head包括全局平均池化，输出shape=[
Orange_sparkle·2022-11-27 19:01

理解 Swin Transformer

引言VisionTransformer（ViT）的提出让大家意识到transformer不仅在NLP领域表现得很好，在CV领域也充满了潜力，但ViT论文仅验证了transformer在图像分类任务上的性能，大家并不确定transformer能不能胜任其他视觉工作；同时自注意力计算方式还存在一个弊端，它的计算复杂度随输入图像尺寸呈平方增长，这严重限制了transformer在CV领域的应用场景。Sw
炫彩脆皮鸡·2022-11-27 19:29

目标检测:swin-transformer跑通自己的数据集

环境：win11单gpu首先下载https://github.com/SwinTransformer/Swin-Transformer-Object-Detection一开始安装总是报错，然后按照它的教程重新
2022.8.22起夯实基础100天·2022-11-25 09:34

【目标检测】swin-transformer的学习

文章目录1.swin-transformer2.swin-transformer的结构1.swin-transformer优点：解决transformer在cv领域速度慢的问题保持CNN的位移不变性、尺寸不变性
努力的袁·2022-11-25 09:19

Swin trasnformer 学习笔记

提示：Swintransformer学习笔记，仅供学习记录，方便日后回顾，侵删文章目录前言一、主要贡献1.如何抓住多尺度特征2.滑动窗口和窗口自注意力二、网络主干1.模型整体架构2.怎样提高移动窗口的计算效率：采用masking（掩码）的方式计算自注意力3.相对位置编码三、其他知识补充：1.Testtimeaugmentation(TTA)2.神经架构搜索(NeuralArchitectureSe
leener-Y·2022-11-25 04:35

【超越Swin、ConvNeXt】最新注意力Neighborhood Attention Transformer (NAT)全文翻译

paper：https://arxiv.org/abs/2204.07143code：https://github.com/SHI-Labs/Neighborhood-Attention-Transformer目录Abstract1.Introduction2.Relatedworks2.1.Multi-Headedselfattention2.2.VisionTransformer2.3.Mod
刘可乐呀·2022-11-25 00:57

Swin Transformer Object Detection 目标检测-2——训练自己的数据集

文章目录一、修改工程二、开始训练视频教程完整版：我在B站录的教学视频一、修改工程设置类别：修改configs/base/models/mask_rcnn_swin_fpn.py中num_classes为自己数据集的类别
Beyonderwei·2022-11-25 00:53

Swin Transformer 论文精读，并解析其模型结构

计算机视觉的建模从AlexNet在ImageNet分类挑战的良好表现开始，然后到目标检测的SSD、RCNN、YOLO等模型，一直由CNN主导。直到NLP领域中Transformer的崛起，并经ViT应用到视觉领域后，我们感受到了Transformer全局建模的强大之处。如摘要所述，相对于NLP，图像喂入Transformer的计算复杂度很高，故SwinTransformer诞生了，接下来通过精读此
Flying Bulldog·2022-11-24 10:39

YOLOv5+Swin Transformer

参考：(7条消息)改进YOLOv5系列：3.YOLOv5结合SwinTransformer结构，ICCV2021最佳论文使用ShiftedWindows的分层视觉转换器_芒果汁没有芒果的博客-CSDN博客本科生工科生cv改代码本来做的7，但是7报错一直解决不了，我就试试51、先是第一个报错TypeError:__init__()missing1requiredpositionalargument:
阿燃定律·2022-11-24 10:36

实战目标检测Faster_rcnn、retinaNet、SSD、yolov3、yolov5、swin- transformer

自己制作数据集，实战目标检测神经网络模型，实战传统目标检测算法HOG+SVM+NMS，如果需要请关注，
计算机视觉硕士·2022-11-24 10:05

兼具Swin和ViT的优势！可用于MAE预训练的超简单层次Transformer结构

©PaperWeekly原创·作者|Jason研究方向|计算机视觉摘要最近，掩蔽图像建模（MIM）为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的一个关键思想是在整个目标网络编码器中丢弃掩蔽图像patch或token，这要求编码器是普通视觉Transformer（例如ViT），但是分层视觉Transformer（例如SwinTransformer）在形成视觉输入方面具有潜在
PaperWeekly·2022-11-24 10:33

改进YOLO：YOLOv5结合swin transformer

一、配置yolov5_swin_transfomrer.yaml#Parametersnc:10#numberofclassesdepth_multiple:0.33#modeldepthmultiplewidth_multiple
WWW_lena·2022-11-24 10:28

Oriented R-CNN 试图涨点 目标检测 random rotation

https://github.com/ming71/OBBDet_Swin/tre
吃肉不能购·2022-11-24 06:13

零代码使用Resnet进行深度学习的图片分类,参加Kaggle调参刚刚好

使用不同的模型，Resnet,EfficientNet,Swin使用不同的数据增强，自动下载数据集自动分割数据集调参训练推理可以对模型，epoch,batchsize,优化器，学习率，学习率调整策略，数据增强进行调参
makao007·2022-11-24 01:09

Swin Transformer Object Detection 目标检测、问题汇总

文章目录一、环境问题1.unsupportedMicrosoftVisualStadioversion2.报错提示找不到tmp目录下的某个文件3.ImportErrorDDLloadfailed4.找不到指定目录下的cl.exe5.Linux系统下的环境安装6.AssertionErrortop_pool_forwardmissinmodule_ext7.Apex报错：IndexErrortupl
Beyonderwei·2022-11-23 14:22

Swin-Transformer 从数据尺度变换角度解析

最近在看Swin-Transformer时，发现在网络中存在许多的数据尺度变换。本博文主要是从图像数据的输入逐步分析一张RGB图像在Swim-Transformer中是如何进行尺度变换的。
江小白jlj·2022-11-23 08:06

Swin-Transformer 详解

Swin-Transformer综合指南(用动画深入解释Swin-Transformer)1.介绍SwinTransformer(Liuetal.,2021)是一种基于Transformer的深度学习模型
欢乐的小树·2022-11-23 08:05

swin-transformer代码详解

上图为swin_transformer的主体框架结构，模型采取层次化的设计，一共包含4个Stage，每个stage都会缩小输入特征图的分辨率，像CNN一样逐层扩大感受野。
社区小铁匠·2022-11-23 08:33

Swin-Transformer论文解析

目录Swin-TransformerAttention机制的发展历程Attention中Q、K、V的概念Attention的计算过程swin-transformer与VIT的区别swin-transformer
xungeer29·2022-11-23 08:32

Swin-Transformer网络结构PPT

Swin-Transformer网络结构PPT（这是我搬运的B站大佬视频中的PPT，视频地址：https://www.bilibili.com/video/BV1pL4y1v7jC/?
QT-Smile·2022-11-23 08:01

Swin-transformer block整体理解

文章目录前言一、整体流程二、自注意力编码三、相对位置编码四、自注意力计算五、总结六、参考链接前言上一篇博客中我们概述了Swin-transformer整体框架，这篇博客就来介绍Swin-transformerblock
超级电冰箱·2022-11-23 08:58

Swin-Transformer详解

以上为Swin-Transformer的总体流程，下面本文将对网络中每一个结构做详尽介绍：1.PatchPartition（图像块分割）+LinearEmbeding（线性嵌入）两个过程的实现为使用一个二维卷积
提着小灯找呀找·2022-11-23 08:54

神经网络学习笔记5——Swin-Transformer网络

系列文章目录神经网络学习笔记1——ResNet残差网络、BatchNormalization理解与代码神经网络学习笔记2——VGGNet神经网络结构与感受野理解与代码参考博客1参考博客2文章目录系列文章目录前言一、PatchMerging操作二、W-MSA、SW-MSA与cyclicshift窗口设计1、窗口自注意力W-MSA2、移动窗口自注意力SW-MSA3、窗口移动优化cyclicshift三
RanceGru·2022-11-23 05:18

【Swin-Transformer学习】

Swin-Transformer学习笔记参考链接：https://blog.csdn.net/qq_37541097/article/details/121119988【机器学习】详解SwinTransformer
zkp727·2022-11-22 23:40

Swin-Transformer（2021-08）

简介一直到写下这篇笔记开始，基于Swin的模型仍然霸榜ObjectDetection等多个榜单。很多博客都已经介绍的非常详细了，这里只记录一下自己学习过程中遇到的困惑。
GY-赵·2022-11-22 23:08

[论文阅读笔记11]Swin-Transformer

0.前言SwinTransformer,即ShiftWindowTransformer,它旨在让Transformer结构跟CNN一样,也可以作为骨干网络在各种计算机视觉任务中来使用,以及解决ViT计算复杂度高的问题.具体地,在CNN网络中,大多都是层级结构.比如说,每一层都让高宽减半,通道数增加.这样在每一层都具有不同的感受野,进而获得不同尺度的语义信息.那么Transformer结构可不可以也
wjpwjpwjp0831·2022-11-22 23:38

Transformer（三）搞懂Swin Transformer

《SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows》论文链接：https://arxiv.org/abs/2103.14030目录一、论文信息二、总体结构三、windowattention和shiftwindowattention四、实验五、存在的问题一、论文信息之前transformer主要用于NLP领域，现在也应用
不瘦8斤的妥球球饼·2022-11-22 23:37

Swin Transformer网络模型

模型详细配置参数前言论文地址：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows论文代码：https://github.com/microsoft/Swin-TransformerTransformer
pengege666·2022-11-22 23:07

Swin Transformer 学习笔记

SwinTransformer1.前言VisionTransformer只做了图片分类任务，表现了transformer在视觉领域的强大实力，但未表明transformer架构能cover掉CV领域的所有任务。SwinTransformer是2021年微软研究院发表在ICCV上的一篇文章，并且获得了ICCV2021bestpaper，其证明了transformer架构可以很好地用于所有的CV任务S
lansfair·2022-11-22 23:31

Swin Transformer: 使用滑动窗口的分层视觉transformer

论文地址：https://arxiv.org/abs/2103.14030官方GitHub：https://github.com/microsoft/Swin-Transformer目录0、摘要：1、引言
叶舟·2022-11-22 23:29

Swin-Transformer的Attention Mask笔记

SwinTransformer中将原来全局特征图的自注意力转为求多个windows内的attention，得到局部windows的交互，然后再像CNN卷积一样的思路，通过windows之间交互来获取全局的交互，这样可以避免原transform应用到视觉领域时遇到的问题：1、计算量巨大；2、特征变化大。其核心设计久是shiftedwindow，如下图所示，这种偏移方式能够获取不同windows的交互
yanghaoplus·2022-11-22 23:55

记录安装mmcv-full==1.3.0过程中的问题

SwinTransformerforsegmentation的效果，发现网上好多都是利用mmcv库，比如，InstanceSegmentation任务在paperwithcode网站上的官方代码上，SwinTransformer/Swin-Transformer-Semantic-Segmentation
weixin_43793265·2022-11-22 15:45

[VOT16](2021CVPR)SwinTrack: A Simple and Strong Baseline for Transformer Tracking

本文做法：相反地，本文提出了一个基于全注意力的Transformer跟踪算法，Swin-TransformerTracker(SwinTrack)。SwinTrack用Trans
三晚不过弦一郎·2022-11-22 15:02

Swin transformer目标检测复现object detection遇到的问题及解决

@胖煜Swintransformer目标检测复现objectdetection遇到的问题及解决Swintransformer目标检测复现objectdetection遇到的问题及解决这周的在实验室的任务是Swintransformer复现，配环境就遇到了一堆问题，足足配了三天，无语子。activateopenmmlabbash:/home/techart/anaconda3/bin/activat
胖胖胖煜·2022-11-22 13:20

基于win10复现swin-transformer图像分类源码

文章目录前言一、swin-transformer结构二、环境搭建1.克隆工程2.创建环境3.安装pytorch4.安装其他库5.安装Apex6.小结7.代码运行三、出现问题及解决办法总结前言为了学业在tensorflow
努力毕业的W·2022-11-22 13:12

目标检测算法——YOLOv5/YOLOv7改进之结合Swin Transformer V2（涨点神器）

>>>深度学习Tricks，第一时间送达0.elsenn.Identity()self.norm2=norm_layer(dim)mlp_hidden_dim=int(dim*mlp_ratio)self.mlp=Mlp(in_features=dim,hidden_features=mlp_hidden_dim,act_layer=act_layer,drop=drop)关于YOLO算法改进及论
加勒比海带66·2022-11-22 13:40

YOLOV5+swin-transformer出现的问题

YOLOV5+swin-transformer出现的问题提示：这里简述项目相关背景：YOLOV5+swin-transformer出现的问题问题描述提示：这里描述项目中遇到的问题：1.TypeError
马铃薯炒土豆丝尔·2022-11-22 13:34

当Swin Transformer遇上DCN，清华可变形注意力Transformer模型优于多数ViT

©作者|小舟来源|机器之心本文中，来自清华大学、AWSAI和北京智源人工智能研究院的研究者提出了一种新型可变形自注意力模块，其中以数据相关的方式选择自注意力中键值对的位置，使得自注意力模块能够专注于相关区域，并捕获更多信息特征。Transformer近来在各种视觉任务上表现出卓越的性能，感受野赋予Transformer比CNN更强的表征能力。然而，简单地扩大感受野会引起一些问题。一方面，使用密集注
PaperWeekly·2022-11-22 11:06

如何看待Meta（恺明）最新论文ViTDet：如何看待Meta（恺明）论文ViTDet：只用ViT做backbone的检测模型？...

https://www.zhihu.com/question/525167811/answer/2419797948从文中的Tab.4,Tab.5的结果来看，同样是IN-21K预训练，ViT-base和Swin-base
woshicver·2022-11-22 08:23

Swin Transformer解读

引言：Transformer模型在自然语言处理（NLP）领域已然成为一个新范式，如今越来越多的研究在尝试将Transformer模型强大的建模能力应用到计算机视觉（CV）领域。那么未来，Transformer会不会代替CNN在CV领域的作用。而swintransformer是一种包含了CNN滑窗理念的一种transformer。将注意力限制在一个窗口中，一方面能引入CNN卷积操作的局部性，另一方面
柯西的笔·2022-11-22 05:20

Swin-Unet【CVPR2021】

文章：CaoH,WangY,ChenJ,etal.Swin-Unet:Unet-likePureTransformerforMedicalImageSegmentation[J].arXivpreprintarXiv
weixin_42069777·2022-11-22 00:20
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他