SWIN

论述ViT的成功不在注意力，ShiftViT用 Swin Transformer 的精度跑赢ResNet的速度

注意力机制被广泛认为是VisionTransformer(ViT)成功的关键，因为它提供了一种灵活和强大的方法来建模空间关系。然而，注意力机制真的是ViT不可或缺的组成部分吗？它能被一些其他的替代品所取代吗？为了揭开注意力机制的作用，作者将其简化为一个非常简单的情况：ZEROFLOP和ZEROparameter。具体地说，作者重新审视了Shift操作。它不包含任何参数或算术计算。唯一的操作是在相邻
机器学习社区·2022-11-20 01:54

kaggle学习计划之Herbarium 2022 - FGVC9

Backbones:（最近针对图像的swin模型确实很好，有很大的发展空间！！！）(粗
林仔 Lin·2022-11-19 18:25

使用grad-cam对swin transformer的特征进行可视化

使用grad-cam进行特征图的可视化1.Swin-Transformer官方预训练模型的可视化2.自己的模型可视化pytorch-grad-cam提供了对模型训练可视化的工具，支持CNN、VisionTransformers
咚咚锵咚咚锵·2022-11-19 18:28

语义分割之SegFormer分享

今年可以说是分割算法爆发的一年，首先Vit通过引入transform将ADE20KmIOU精度第一次刷到50%，超过了之前HRnet+OCR效果，然后再是Swin屠榜各大视觉任务，在分类，语义分割和实例分割都做到了
xuzz_498100208·2022-11-19 10:18

Swin-Transformer听课笔记

目录前言1.模型的特点2.模型结构2.1PatchPartition+LinearEmbedding2.2PatchMerging2.3Swin-TransformerBlock2.4W-MSA2.5SW-MSA2.6
八十八岁扶墙敲码·2022-11-19 10:00

VIT与swin transformer

VITVIT也就是visiontransformer的缩写。是第一种将transformer运用到计算机视觉的网络架构。其将注意力机制也第一次运用到了图片识别上面。其结构图如下（采用的是paddle公开视频的截图）看起来比较复杂，但实际上总体流程还是比较简单的。只需要看最右边的总的结构图，它的输入被称作imagetoken。其实也就是最左边的输入tokenembedding。如果非要说什么区别的话
做梦还会想·2022-11-19 08:03

TypeError: __init__() missing 1 required positional argument: ‘c2‘

1.yolov7添加swin_transformerv2报错问题：TypeError:__init__()missing1requiredpositionalargument:'c2'解决方案：找到models
都是底层·2022-11-19 07:11

mmdetection # test and visualize test result

tools/dist_test.shconfigs/swin/cascade_mask_rcnn_swin_base_patch4_window7_mstrain_480-800_giou_4conv1f_adamw
竹子熊猫·2022-11-19 03:24

Swin-Unet 训练自己数据集踩过的坑

py",line160,inreturnelem_type({key:default_collate([d[key]fordinbatch])forkeyinelem})File"C:\ProgramData\Anaconda3\envs\untitled\lib\site-packages\torch\utils\data\_utils\collate.py",line141,indefault
Mileeeey·2022-11-18 08:16

MyDLNote-Transformer: Swin Transformer, 使用移位窗口的分层 Vision Transformer

HierarchicalVisionTransformerusingShiftedWindowshttps://arxiv.org/pdf/2103.14030.pdfCodeisavailableathttps://github.com/microsoft/Swin-Transformer
Phoenixtree_DongZhao·2022-11-16 01:13

Day 1: Swin Transformer: Hierarchical Vision Transformer using Shifted Window

第一篇论文是最近大火的SwinTransformer.Swin应该是ShiftedWindows的缩写，也是全文最重要的一个贡献之处。
ttppss·2022-11-16 01:43

Swin Transformer源码分析

arxiv.org/pdf/2103.14030v1.pdfhttps://arxiv.org/pdf/2103.14030v1.pdf代码地址：https://github.com/microsoft/Swin
那时那月那人·2022-11-15 16:50

Swin Transformer、ViT作者等共话：好的基础模型是CV 研究者的朴素追求

2021-2022年，随着Transformer被引入计算机视觉领域，视觉基础模型研发迎来了又一个新的高潮。一时间，基于视觉Transformer的骨干模型设计、自监督学习、模型扩展、下游应用等研究井喷式爆发。在2022年6月1日的智源大会「视觉模型」专题论坛中，SwinTransformer作者曹越、ViT作者翟晓华、HRNet作者王井东、华为王云鹤以及中国科学院大学叶齐祥等共聚一堂，针对视觉模
智源社区·2022-11-14 13:39

CV-Model【7】：Swin Transformer

系列文章目录Transformer系列网络（一）：CV-Model【5】：TransformerTransformer系列网络（二）：CV-Model【6】：VisionTransformerTransformer系列网络（三）：CV-Model【7】：SwinTransformer文章目录系列文章目录前言1.Abstract&Introduction1.1.Abstract1.2.Introdu
zzzyzh·2022-11-14 07:20

Swin-Transformer目标检测

文章目录1.环境搭建2.训练2.1预训练模型的准备2.2数据集的准备2.3代码的修改2.3.1将默认的MaskRCNN调整为无mask的纯目标检测2.3.2对齐数据集2.4训练命令2.5最终文件夹的目录3.其他小需求的代码修改1.环境搭建Linux系统下搭建SwinTransformer目标检测环境补充：mmcv-full在不同版本的CUDA和torch情况下的安装命令参考安装文档2.训练例子：数
咚咚锵咚咚锵·2022-11-12 09:01

Swin-Transformer object detection 环境配置

Swin-Transformerobjectdetection环境配置1.下载Swin-TransformerObjectDetection官方代码到服务器gitclonehttps://github.com
逢九州一色·2022-11-12 09:59

Swin-Transformer-Object-Detection环境搭建详细过程

1流程1确定设备安装的cuda版本2根据安装的cuda版本确定要安装的torch版本3根据torch版本安装对应的mmcv4安装apex5修改源码测试源码地址：Swin-Transformer-Object-Detection
Christo3·2022-11-12 09:58

Swin-Transformer-Object-Detection环境搭建训练流程及问题

一、背景Swin-Transformer（Swin代表移位窗口shiftedwindow）可以作为计算机视觉的通用backbone。
小随风_hi·2022-11-12 09:28

Swin-Ttransformer Object Detection 环境配置及训练

Swin-TtransformerObjectDetection环境配置及训练环境配置demoCOCO训练源码地址：https://github.com/SwinTransformer/Swin-Transformer-Object-Detection
暖风️·2022-11-12 09:24

【扫盲】Swin-Transformer-Object-Detection环境搭建（最新mmdetection安装）

【扫盲】Swin-Transformer-Object-Detection环境搭建（最新mmdetection安装）欢迎关注公众号：小鸡炖技术，后台回复：“swin1”获取本视频素材~~~~
小鸡炖技术·2022-11-12 09:24

跑Swin-Transformer-Object-Detection过程中遇到的坑及解决

代码地址：GitHub-SwinTransformer/Swin-Transformer-Object-Detection:Thisisanofficialimplementationfor"SwinTransformer
Piggytuotuo·2022-11-12 09:53

Swin-Transformer-Object-Detection 配置与训练自己的数据集（踩坑）

官方SwinTransformer目标检测训练流程一、环境配置1.矩池云相关环境租赁2.安装pytorch及torchvision3.安装MMDetection4.克隆仓库使用代码5.环境测试二、训练自己的数据集1准备coco格式数据集1数据集标签转化1.1COCO数据集格式介绍1.2上传数据集并解压2改变类别数和类别名3如何去除实例分割，仅进行目标检测一、环境配置1.矩池云相关环境租赁镜像:Py
开始学AI·2022-11-12 09:23

Swin-Transformer-Object-Detection V2.11.0环境搭建（一）

Swin-Transformer-Object-Detection环境搭建1、Swin-Transformer-Object-Detection系列版本Swin-Transformer-Object-Detection2MMdetection
qq_41627642·2022-11-12 09:23

Swin-Transformer-Object-Detection项目安装教程

0基本环境要求pytorchCUDAVisualStudioanaconda注意：我本机的pytorch版本是1.9.1，CUDA版本是11.1，anaconda版本是：Anaconda3-2021.04-Windows-x86_64.exe，VisualStudio版本是VisualStudioCommunity2019另外需要注意的是，使用python3.9版本可能会出现错误如下错误：Noma
无码不欢的我·2022-11-12 09:19

Swin-Transformer-Object-Detection运行环境的搭建

github下载源码安装第三方库运行测试代码运行效果问题及参考创建Pycharm工程现在虚拟环境中只有以下几个包github下载源码https://github.com/SwinTransformer/Swin-Transformer-Object-Detection
维度攻城狮·2022-11-12 09:17

win11下Swin-Transformer-Object-Detection-master测试成功

仅作为个人学习记录使用，侵权直接删除！！！转自这里（侵权删）前期准备PyCharm2021.3（只是IDE，版本不同也没关系）显卡306012GCuda11.1（与显卡、Pytorch要求合适即可）Python3.8Anaconda32021.05（版本无限制）VS2019环境安装VS2019建议安装2019版本VS2019安装VS2019下载地址直接去VS官网下载，第一步下载的时候可能需要，后面
impact_10·2022-11-12 08:46

ubuntu18 Swin-Transformer-Object-Detection

1、目标检测：https://github.com/SwinTransformer/Swin-Transformer-Object-Detection原文地址：https://arxiv.org/abs
L_YXDE·2022-11-12 08:14

Swin Transformer Object Detection 目标检测-1——环境搭建详细教程

文章目录一、所需软件（包）介绍二、环境安装0.版本选择1.VS2019安装2.创建conda虚拟环境方案一（直接创建）方案二（指定目录创建）3.pytorch安装4.安装其他必要的Python包5.安装mmcv6.安装mmdetection7.安装apex8.拉取代码9.测试工程10.常见问题视频教程完整版：我的教学视频一、所需软件（包）介绍VS2017-2019，用里面的一个编译软件去编译文件，
Beyonderwei·2022-11-12 08:44

Swin-Transformer-Object-Detection环境搭建(最简单的安装版本)

Swin-Transformer-Object-Detection环境搭建(最简单版本）前言史上最简单的Swin-Transformer-Object-Detection环境搭建包含了vs2019,mmdetection
耿耿的星河·2022-11-12 08:11

专访 Swin Transformer 作者胡瀚：面向计算机视觉中的「开放问题」

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达文|刘冰一、Echo编辑|极市平台胡瀚，湖北潜江人，本博均毕业于清华大学自动化系，曾就职于百度研究院深度学习实验室，目前任职于微软亚洲研究院视觉计算组。近期他和团队的“SwinTransformer：HierarchicalVisionTransformerUsingShiftedWindows”摘得ICCV2021马尔奖（最佳论文奖）。#1
Tom Hardy·2022-11-10 23:45

专访 Swin Transformer 作者胡瀚：面向计算机视觉中的「开放问题」 原创

文|刘冰一、Echo编辑|极市平台本文原创首发于极市平台，转载请获得授权并标明出处。胡瀚，湖北潜江人，本博均毕业于清华大学自动化系，曾就职于百度研究院深度学习实验室，目前任职于微软亚洲研究院视觉计算组。近期他和团队的“SwinTransformer：HierarchicalVisionTransformerUsingShiftedWindows”摘得ICCV2021马尔奖（最佳论文奖）。1从看闲书
极市平台·2022-11-10 23:13

论文阅读：Swin Transformer

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows文章目录SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows0摘要1引言2相关研究3方法3.1整体架构3.2基于移动窗口的自注意力非重叠窗口中的自注意力连续块中的移位窗口分区移位配置的高效批量计算
Z字君·2022-11-10 07:35

【论文阅读】Swin Transformer V2: Scaling Up Capacity and Resolution

题目：SwinTransformerV2:ScalingUpCapacityandResolutionmotivation:作者提出了将SwinTransformer缩放到30亿个参数的技术，并使其能够使用高达1536×1536分辨率的图像进行训练。作者要做大做强。method:首先，对大型视觉模型的实验揭示了训练中的不稳定性问题。作者发现，在大型模型中，各层之间的激活幅度差异显著增大。仔细观察结
一碗白开水一·2022-11-10 07:34

ICCV-2021-Swin-T: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 阅读笔记

目录一、SwinTransformer的整体架构及流程Swin变压器架构Stage1Stage2Stage3Stage4SwinTransformerblock二、基于移动窗口的自我注意（ShiftedWindowbasedSelf-Attention
菜菜子hoho·2022-11-10 07:29

DL-Paper精读：Swin Transformer

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindowshttps://arxiv.org/abs/2103.14030Transformer在Vision领域的各项任务上已经占据了sota的地位，目前精度最高的模型便是SwinTransformer，一个针对于图像任务的实体分辨率问题进行优化的工作，今天对其进行详细的研究。C
星月野·2022-11-10 07:28

论文：Swin Transformer

SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows论文：https://arxiv.org/abs/2103.14030代码：语义分割、图像分类、目标检测相关阅读：更多差异作者观察到Transformer在语言领域和视觉领域的两种模式差异：规模。与在语言Transformer中作为处理的基本元素的单词符号不同，视觉元素可
cztAI·2022-11-10 07:26

最强骨干网络：Swin Transformer V2来了

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自丨极市平台作者丨happy导读针对SwinV1在更大模型方面存在的几点问题，SwintransformerV2提出了后规范化技术、对数空间连续位置偏置技术、大幅降低GPU占用的实现等得到了具有超高性能的SwinV2，刷新了多个基准数据集的指标。SwinTransformerV2:ScalingUpCapacityandRes
Amusi（CVer）·2022-11-10 07:53

论文精读:Swin Transformer V2: Scaling Up Capacity and Resolution

论文地址:https://arxiv.org/pdf/2111.09883.pdf代码地址:GitHub-microsoft/Swin-Transformer:Thisisanofficialimplementationfor"SwinTransformer
樱花的浪漫·2022-11-10 07:52

保姆级使用PyTorch训练与评估自己的Swin Transformer V2网络教程

文章目录前言0.环境搭建&快速开始1.数据集制作1.1标签文件制作1.2数据集划分1.3数据集信息文件制作2.修改参数文件3.训练4.评估5.其他教程前言项目地址：https://github.com/Fafa-DL/Awesome-Backbones操作教程：https://www.bilibili.com/video/BV1SY411P7NdSwinTransformerV2原论文：点我跳转如
啥都生·2022-11-09 12:20

Swin Transformer翻译 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows翻译

下载论文代码摘要本篇论文呈现了一个新的visionTransformer我们称为SwinTransformer。它可以作为计算机视觉的通用骨干网络。将Transformer从语言应用到视觉的挑战来自于这两个领域之间的差异，比如：视觉实体之间的尺寸有很大的变化，并且与文本中的词相比图片具有很高的分辨率的(即像素较多）。为了解决这些差异，我们提出了一个分等级的Transformer。它的表征使用可移动
jjw_zyfx·2022-11-08 07:24

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows(论文翻译)

摘要本文提出了一种新的视觉转换器，称为SwinTransformer，它可以作为计算机视觉的通用主干。在将Transformer从语言适应到视觉方面的挑战源于这两个领域之间的差异，例如视觉实体的规模差异很大，以及图像中的像素与文本中的文字相比分辨率较高。为了解决这些差异，我们提出了一种分层转换器，其表示是通过移位窗口来计算的。移位窗口方案通过将自我注意计算限制在非重叠的局部窗口，同时还允许跨窗口连
MJ5513·2022-11-08 07:22

swin-transformer详解及代码复现

1.swin-transformer网络结构实际上，我们在进行代码复现时应该是下图,接下来我们根据下面的图片进行分段实现2.PatchPartition&PatchEmbedding首先将图片输入到PatchPartition
apodxxx·2022-11-07 21:38

Swin_transformer的Patch Merging块和YOLO的FCOUS模块

这两天在看swin_transform，所以做个笔记，在swin_transform中有一个PatchMerging块，这个模块相信有些人一下子就会觉得很熟悉，因为它和yolov4的Focus模块的样子差不多
一名不想学习的学渣·2022-11-04 10:53

超越Swin！MoA-Transformer：将全局特征聚合到视觉Transformer

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达AggregatingGlobalFeaturesintoLocalVisionTransformer论文：https://arxiv.org/abs/2201.12903代码：https://github.com/krushi1992/MOA-transformerLocalTransformer-based分类模型最近以相对较
Amusi（CVer）·2022-10-28 05:27

从ViT到Swin，10篇顶会论文看Transformer在CV领域的发展历程

如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“圆圆的算法笔记”，更多算法笔记和世间万物的学习记录～后台回复“VT”获取VisionTransformer论文整理1.CV中的Transformer介绍随着Transformer在NLP领域主流地位的确立，越来越多的工作开始尝试将Transformer应用到CV领域中。CVTransformer的发展主要经历了以下3个阶段；首先是在CNN中引
fareise·2022-10-27 18:01

改进YOLOv5系列：增加Swin-Transformer小目标检测头

本篇是《增加一个Swin检测头结构》的代码演示最新创新
芒果汁没有芒果·2022-10-26 12:48

J Cheminform2022 | SwinOCSR+：基于Swin Transformer的end-to-end光学化学结构识别

原文标题：SwinOCSR:end-to-endopticalchemicalstructurerecognitionusingaSwinTransformer代码：GitHub-suanfaxiaohuo/SwinOCSR2022年7月1日发表，华东理工大学的李洪林团队。使用Swintransformer作为backbone，提取图像特征，并引入Transformer，将提取到的的化学信息转换为
羊飘·2022-10-25 07:26

ICCV 2021 | Swin transformer: Hierarchical vision transformer using shifted windows 阅读笔记

Swintransformer:HierarchicalvisiontransformerusingshiftedwindowsAuthorUnit:1^11MicrosoftResearchAsia2^22UniversityofScienceandTechnologyofChina3^33XianJiaotongUniversity4^44TsinghuaUniversityAuthors:Z
ybacm·2022-10-18 14:08

《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》论文笔记

论文发表在AI顶会（CCF-A）：ICCV-2021。论文链接：https://arxiv.org/abs/2103.14030ICCV-2021最佳论文，swintransformer当之无愧。这里简单记录下对swintransformer的原理学习（实验不讲），后面细看论文后再继续补充。介绍:swintransformer可作为视觉任务的一个通用backbone。transformer在nlp
#苦行僧·2022-10-18 14:38

Swin-Transformer学习整理

Swin-Transformer学习整理Swin-Transformer相比于之前的ViT等模型，最大的特点有两点：运用patch-partition和patch-merging，进行多尺度特征提取。
Alice01010101·2022-10-18 14:07
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他