SWIN

蔡徐坤粉圈失业小事件

嘟嘟唇像花瓣一样性感，鼻梁可以滑滑梯……（此处省略一万字）而且，他还一刻不停地努力，一次次暴风成长：2015年参加安徽卫视举办的中韩合作偶像养成类选秀节目《星动亚洲》，第二季2016年从节目中出道，成为SWIN
箜篌要做好自己·2023-03-09 12:01

UNIX痛恨者手册[转载]

痛恨者手册2004-02-16作者：SimsonGarfinkel,DanielWeise,StevenStrassmann出处：不详注：1.原文是英文版，原版文章请见：http://ecco.bsee.swin.edu.au
maojunhua·2023-03-08 21:29

Transformer 再添一员，比 Swin 更强的 DiNAT

出品人：Towhee技术团队张晨、顾梦佳在视觉领域，除了常规Transformer的持续发展，分层的Transformer结构也因为其性能和易集成性获得了极大的关注。DiNA注意力机制是NeighborhoodAttention（NA）的拓展，更加自然、灵活、高效。它可以捕获更多的全局上下文并以指数方式扩展感受域，而无需额外成本。DiNATransformer是基于两种注意力的新型分层视觉模型。相
·2023-02-21 15:23

超越Swin！iFormer：将卷积与最大池化移植到Transformer！性能提升明显！

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：极市平台|作者：ZiyangLi导读本文针对Transformer捕获高频的局部信息时表现出的不足，提出InceptionTransformer混合架构（iFormer）。灵活移植Inception的卷积与最大池化，并以通道拆分机制来提高效率和频率斜坡结构来权衡高低频分量。代码将开源。写在前面
Amusi（CVer）·2023-02-17 12:33

【最新刷榜】层次化视觉Transformer来啦！性能大幅优于DeiT、ViT和EfficientNet

作者单位：微软亚洲研究院代码：https://github.com/microsoft/Swin
深度学习技术前沿·2023-02-16 22:17

Swin Transformer代码实战篇

作者简介：秃头小苏，致力于用最通俗的语言描述问题往期回顾：CV攻城狮入门VIT(visiontransformer)之旅——近年超火的Transformer你再不了解就晚了！CV攻城狮入门VIT(visiontransformer)之旅——VIT原理详解篇CV攻城狮入门VIT(visiontransformer)之旅——VIT代码实战篇近期目标：写好专栏的每一篇文章支持小苏：点赞、收藏⭐、留言Sw
秃头小苏·2023-02-16 21:20

pth文件网络，结构可视化

importtorchnet=torch.load('C:/Users/yan/.cache/torch/hub/checkpoints/swin_base_patch4_window7_224_22kto1k.pth
我来保fu小仙女·2023-02-06 12:58

浅析Swin transformer模型(通俗易懂版)

HierarchicalVisionTransformerusingShiftedWindows1.论文信息原文地址：https://arxiv.org/abs/2103.14030官网地址：https://github.com/microsoft/Swin-Transformer2
卡伊德·2023-02-06 11:42

Swin Transformer V2！MSRA原班人马提出了30亿参数版本的Swin Transformer！

关注公众号，发现CV技术之美【写在前面】在本文中，作者提出了将SwinTransformer缩放到30亿个参数的技术，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大容量和分辨率，SwinTransformer在四个具有代表性的视觉基准上创造了新的记录：ImageNet-V2图像分类的84.0%top-1准确度，COCO目标检测上的63.1/54.4box/maskmAP，ADE
我爱计算机视觉·2023-02-06 11:42

Swin-Transformer

Swin-Transformer前言网络结构细节1.PatchMerging2.WindowsMulti-headSelf-Attention（W-MSA）3.ShiftedWindowsMulti-HeadSelf-Attention
球场书生·2023-02-06 11:11

打卡第二天

2015年的Resnet2016年以后神经结构搜索：非人工设计、由算法搜索而来2020年visiontransform2021年swin-transform2020年convnex
啊啊啊平平·2023-02-04 13:08

讲解下swin transformer attention mask生成的核心

本文启发来源于多篇博客。文末附有一些链接h_slices=(slice(0,-window_size),slice(-window_size,-shift_size),slice(-shift_size,None))w_slices=(slice(0,-window_size),slice(-window_size,-shift_size),slice(-shift_size,None))cnt=
shall维·2023-02-04 10:22

[pytorch] 优秀的代码学习笔记

学习别人优秀的代码知识点优秀的代码总结：torch分布式训练（多GPU，DDP）的写法amp自动混合精度训练的写法argparse命令行的写法和使用模型梯度裁剪的使用main_simmim_pt.py文件解析代码地址：swin-transformer-github
12..·2023-02-03 23:28

【Pytorch小知识】torch.roll()函数的用法及在Swin Transformer中的应用(详细易懂)

文章目录torch.roll()的官方文档函数形式及参数说明举个例子torch.roll()的应用具体步骤torch.roll()的官方文档函数形式及参数说明函数形式：torch.roll(input,shifts,dims=None）参数解释：input:输入张量shifts:滚动的方向和长度，若为正，则向下滚动；若为负，则向上滚动。可是一个整数也可以是一个元组。(具体见下面例子)dims:张量
18岁小白想成大牛·2023-02-03 02:35

ConvNeXt：A ConvNet for the 2020s——模型简述

一、摘要这篇论文对标去年的bestpaper：SwinTransformer，在相同的flops下具有更高的准确率和推理速度，它从各个方面借鉴了Swin的设计模式和训练技巧（如AdamW优化器），并一步步的将
gongyuandaye·2023-02-01 18:47

OUC暑期培训（深度学习）——第六周学习记录：Vision Transformer &； Swin Transformer

第六周学习：VisionTransformer&SwinTransformerPart1视频学习及论文阅读1、VisionTransformer原文链接：https://arxiv.org/abs/2010.11929Transformer最初提出是针对NLP领域的，尝试将Transformer模型应用到CV领域，展现了相当不错的效果。下图是VisionTransformer的原型框架：主
tm_opera_o·2023-02-01 18:47

Swin-Transfromer详细讲解（结合代码和论文）

论文地址：https://arxiv.org/abs/2103.14030代码地址：https://github.com/microsoft/Swin-Transformer问题：1Transomer结构因为应用在
防空洞的仓鼠·2023-02-01 10:11

2021：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

摘要本文提出一种新的视觉Transformer----SwinTransformer，它可以成为计算机视觉的通用主干。从语言到视觉采用Transformer的挑战来自于这两个领域之间的差异，比如视觉实体的规模变化很大，以及图像中像素比文本中单词的高分辨率。为解决这些差异，我们提出了一个分层Transformer，其表示是由移动窗口计算的。移动的窗口方案将自注意力计算限制在非重叠的局部窗口上，同时允
weixin_42653320·2023-01-31 23:12

Swin-Transformer算法解析

Transformer(ICCV2021)_tzc_fly的博客-CSDN博客https://zhuanlan.zhihu.com/p/430047908目录1为什么在视觉中使用Transformer2Swin-Transformer
benben044·2023-01-31 01:08

WDK_学习笔记_区块链+ViT和Swin transformer

文章目录摘要一、項目：Hyperledger-fabric技术的深入学习1.1安装-2.2.0（只记录问题，其余按文档操作即可）二、深度学习：VersionTransformer(ViT)和SwinTransformer2.1ViT2.1模型架构图2.2图片切分为patch2.3Patch转换为embedding2.4加入位置编码2.4.1做法2.4.2讨论2.5ViT中的Transformer2
原来如此-·2023-01-30 07:04

导出onnx模型，onnx不支持roll操作符

当我torch.onnx.export（）函数导出swin-tranformer模型时出现报错:ExportingtheoperatorrolltoONNXopsetversion9isnotsupported.PleaseopenabugtorequestONNXexportsupportforthemissingoperator
S-Tatum·2023-01-30 05:41

【Swin Transformer】Win10使用Swin Transformer做目标检测 (使用自己的数据集 + 图解超详细)

文章目录SwinTransformer环境搭建VS2019配置conda虚拟环境Pytorch安装mmcv安装查看匹配版本安装mmcvmmdet安装apex安装下载权重demo测试代码训练自己的数据集需要修改的部分修改标签种类数修改标签类别配置权重信息修改尺寸大小配置数据集路径修改batchsize和线程数训练命令测试命令SwinTransformer环境搭建我的环境：Python3.6+VS20
莫余·2023-01-29 08:43

基于Pytorch的图像分类总结：Swin Transformer

SwinTransformer论文详解及程序解读-知乎(zhihu.com)SwinTransformer论文详解及程序解读-知乎(zhihu.com)机器学习_详解SwinTransformer(SwinT)_何处闻韶的博客-CSDN博客_swintransformerSwinTransformer:HierarchicalVisionTransformerusingShiftedWindows
稳健的不高冷的强哥·2023-01-29 08:12

（pytorch进阶之路六）Swin Transformer实现

写在前面：刚好吃了宵夜，写bug写到凌晨3点，那就顺便一口气搞完它吧工程项目代码，单元测试太重要，不然bug无从下手改，只能一点一点拆分出检测单元了…文章目录大致思想论文地址PatchembeddingMHSA-多头自注意力机制W-MHSAWindowMHSASW-MHSAShiftWindowMHSAPatchMerging构建SwinTransformerBlock构建SwinTransfor
likeGhee·2023-01-29 08:11

Swin Transformer模型——pytorch实现

论文传送门：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows前置文章：ViT模型——pytorch实现SwinTransformer的特点：相较于ViT：①采用逐渐递增的下采样倍数，获得具有层次的特征图(hierarchicalfeaturemaps)，便于进行检测和分割任务；②引入W-MSA(WindowsMulti
CV_Peach·2023-01-29 08:08

ADEChallengeData2016.zip和release_test.zip下载地址

Swin-Transformer图像分割实战：使用Swin-Transformer-Semantic-Segmentation训练ADE20K数据集（语义分割）里面有ADEChallengeData2016
AngelStaw·2023-01-28 16:51

第6周学习：Vision Transformer & Swin Transformer

目录1VisionTransformer1.1ViT模型架构1.2Embedding层1.3TransformerEncoder层1.4MLPHead层1.5ViTB/161.6ViT模型参数1.7Hybrid混合模型2SwinTransformer2.1SwinTransformer模型整体框架2.2基于窗口的自注意力计算2.3基于移动窗口的自注意力计算2.4PatchMerging3感想1Vi
苍茆之昴·2023-01-28 14:44

swin transformer理解要点

标签：swin-transformer作者：炼己者本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！
炼己者·2023-01-28 14:20

计算机视觉论文速递（十）ViT-LSLA：超越Swin的Light Self-Limited-Attention

Transformer在广泛的视觉任务中表现出了竞争性的表现，而全局自注意力的计算成本非常高。许多方法将注意力范围限制在局部窗口内，以降低计算复杂性。然而，他们的方法无法节省参数的数量；同时，自注意力和内部位置偏差（在softmax函数内部）导致每个query都集中在相似和接近的patch上。因此，本文提出了一种LightSelf-Limited-Attention（LSLA），它包括轻Light
AiCharm·2023-01-28 10:43

which is output 0 of AsStridedBackward0, is at version 1； expected version 0 instead

aceback(mostrecentcalllast):File"D:\my_codeworkspace\bishe_new\jiaoben\train_KINN_NonFEM_based_swin_freezebone.py
构建的乐趣·2023-01-28 10:10

Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer

DCST（人群定位）提出问题：微小物体&相互遮挡和模糊区域如何在高密度人群场景中实现精确的实例定位，并缓解传统模型的特征提取能力因目标遮挡、图像模糊等而降低的问题。解决方法：提出了一种将transformer和传统卷积网络方法相结合的方法来解决人群定位的密集预测问题。在SwinTransformer主干中，在不同阶段插入两个扩展卷积块以扩大感受野，这有效地提高了特征提取的能力，尤其是对于人群场景中
Yunpeng1119·2023-01-28 09:38

《预训练周刊》第10期：基于Swin变换器的自监督学习、基于锐度感知最小化的泛化性提升...

No.10智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第10期《预训练周刊》，从论文推荐、研究动态等维度推荐近期发生在预训练模型领域值得关注的信息。本期周刊，我们选择了11篇预训练相关的论文，涉及模型压缩、零样本检测、自监督学习、模型减枝、文本位置编码、符号傅里叶变换、架构优化、损失函数
智源社区·2023-01-28 08:41

# enumerate(data_loader)处报错

codeccan’tdecodebytesinposition1022-1023:unexpectedendofdataenumerate(data_loader)报错num_workers设置为大于1报错在训练Swin-Transformer
a493001894·2023-01-28 07:26

swin transformer v1 v2精讲

ShiftedWindow算法详解-巴蜀秀才-博客园SwinTransformerV2-巴蜀秀才-博客园
流浪德意志·2023-01-27 07:25

Swin Transformer——细节详解

SwinTransformer——细节详解划分窗口与合并窗口举例：默认情况下window_size=7划分窗口：将输入数据shape=[4,224,224,196]的数据reshape成[4*num_windows,7,7,196]合并窗口：将输入数据shape=[4*num_windows,7,7,196]的数据reshape成[4,224,224,196]defwindow_partition
Jokic_Rn·2023-01-27 07:24

【神经网络架构】Swin Transformer细节详解-2

图12个MSA。对应下面depth中的2。图2SW-MSA流程1.cyclicshift+reversecyclicshift图3cyclicshift，shift_size=7//2=3depth=[2,2,6,2]#MSA的个数[SwinTransformerBlock(...,shift_size=0if(i%2==0)elsewindow_size//2,...)foriinrange(d
理心炼丹·2023-01-27 07:24

swin transformer

vit模型要求处理图片的像素不能太大（vit论文中给定的图片为224*224），但是针对于更高像素的图片，vit还是无法处理，并且vit模型无法在物体检测等领域发挥较好效果。swintransfomer就很好的解决了这些问题。swintransfomer收到了CNN中卷积操作的启发，将图片划分成一个个小patch块，并且以patch块为基本单位，在一个个window窗口内部进行注意力学习。patc
v1dv1dv1d·2023-01-26 12:12

NeurIPS 22｜Sequencer：完美超越Swin与ConvNeXt等前沿算法

本文提出Sequencer，一个全新且具有竞争性的架构，可以替代ViT，为分类问题提供了一个全新的视角。实验表明，Sequencer2D-L在ImageNet-1K上仅使用54M参数，实现84.6%的top-1精度。不仅如此，作者还证明了它在双分辨率波段上具有良好的可迁移性和稳健性。论文链接：https://arxiv.org/abs/2205.01972在最近的计算机视觉研究中，ViT的出现迅速
MrRoose·2023-01-21 08:47

Transformer 再添一员，比 Swin 更强的 DiNAT

出品人：Towhee技术团队张晨、顾梦佳在视觉领域，除了常规Transformer的持续发展，分层的Transformer结构也因为其性能和易集成性获得了极大的关注。DiNA注意力机制是NeighborhoodAttention（NA）的拓展，更加自然、灵活、高效。它可以捕获更多的全局上下文并以指数方式扩展感受域，而无需额外成本。DiNATransformer是基于两种注意力的新型分层视觉模型。相
·2023-01-19 17:39

Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation论文解读

Swin-Unet:Unet-likePureTransformerforMedicalImageSegmentation论文：[2105.05537]Swin-Unet:Unet-likePureTransformerforMedicalImageSegmentation
Trouble..·2023-01-18 12:13

swin-transformer 细节理解之整体架构

swin-transformer整体架构文章目录swin-transformer整体架构前言一、整体介绍二、整体流程解读与卷积网络的对比（仅个人理解）总结参考链接前言这篇博客会大致介绍swin-transformer
超级电冰箱·2023-01-18 12:38

34 - Swin-Transformer论文精讲及其PyTorch逐行复现

文章目录1.结构图2.两种方法实现Patch_Embedding2.1imag2embed_naive通过unfold展开函数2.2imag2embed_conv通过conv卷积函数3.多头自注意力(Multi_Head_Self_Attention)3.1如何计算多头自注意力机制复杂度3.2构建WindowMHSA并计算其复杂度3.3基于窗口的多头自注意力4.ShiftwindowMHSA及其M
取个名字真难呐·2023-01-17 20:45

Swin Transformer

论文原文：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows官方开源代码：Swin-Transformer用于语义分割的官方代码为
是七叔呀·2023-01-17 20:45

手把手教你Swin-Transformer-Semantic-Segmentation(语义分割）训练自己的数据集

显卡不太行的同学一般跑不动哦，我用的工作站显卡2080ti勉强才跑通4batch_size代码地址：https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmentation
寒天源·2023-01-17 20:15

pytorch学习之swin-transformer算法读后感

目录1、下采样/上采样（1）下采样的作用？通常的方式（2）上采样的原理和常用方式2、self.register_buffer()3、torch运算符@和*4、nn.ModuleList()以及与nn.Sequential的区别（1）nn.ModuleList（2）与nn.Sequential的区别5、nn.Module.apply方法6、torch.roll函数7、torchvision数据处理（
benben044·2023-01-17 15:48

【论文速递】ECCV2022 - 开销聚合与四维卷积Swin Transformer_小样本分割

【论文速递】ECCV2022-开销聚合与四维卷积SwinTransformer_小样本分割【论文原文】：CostAggregationwith4DConvolutionalSwinTransformerforFew-ShotSegmentation获取地址：https://arxiv.org/pdf/2207.10866.pdf博主关键词：小样本学习，语义分割，Transformer，聚合推荐相关
凤⭐尘·2023-01-16 06:43

Swin Transformer, SwinIR, SwinFIR

SwinTransformer痛点：尺度变化–提出Hieracicalattention的变化：slidingwindowattention，减少了attention的计算复杂度，同时通过sliding增强connection，实现全局attention和ViT的区别：ViT16*下采样，尺寸单一；SwinTransformer多尺度local的思维：在一个小范围算attention是基本够用的，
yyyang404·2023-01-14 07:50

基于OpenVINO工具套件简单实现YOLOv7预训练模型的部署

一、YOLOv7简介官方版的YOLOv7相同体量下比YOLOv5精度更高，速度快120%（FPS），比YOLOX快180%（FPS），比Dual-Swin-T快1200%（FPS），比ConvNext快
OpenVINO 中文社区·2023-01-13 12:01

【SwinTransformer】大杀四方的 Swin Transformer 详解及改进

BackBone上图为Swin-Tiny的网络架构图。Swin
零碎@流年絮语·2023-01-13 08:49

transformer概述和swin-transformer详解

注意力机制1.2.3多头注意力机制1.2.4前馈全连接层1.2.5规范化层1.2.6子层连接层1.2.7编码器层1.2.8编码器1.3解码器部分实现1.3.1解码器层1.3.2解码器1.4输出部分实现2.swin-transformer1
我是要成为linux驱动开发的man·2023-01-13 08:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他