vit

Swin-Transformer（2021-08）

Swin与ViT的对比，ViT将image划分为固定大小的patch，以patch为单位进行attention计算，计算过程中的featuremap分辨率是保持不变的，并且ViT为了保持与NLP的一致性
GY-赵·2022-11-22 23:08

[论文阅读笔记11]Swin-Transformer

0.前言SwinTransformer,即ShiftWindowTransformer,它旨在让Transformer结构跟CNN一样,也可以作为骨干网络在各种计算机视觉任务中来使用,以及解决ViT计算复杂度高的问题
wjpwjpwjp0831·2022-11-22 23:38

当Swin Transformer遇上DCN，清华可变形注意力Transformer模型优于多数ViT

©作者|小舟来源|机器之心本文中，来自清华大学、AWSAI和北京智源人工智能研究院的研究者提出了一种新型可变形自注意力模块，其中以数据相关的方式选择自注意力中键值对的位置，使得自注意力模块能够专注于相关区域，并捕获更多信息特征。Transformer近来在各种视觉任务上表现出卓越的性能，感受野赋予Transformer比CNN更强的表征能力。然而，简单地扩大感受野会引起一些问题。一方面，使用密集注
PaperWeekly·2022-11-22 11:06

VisionTransformer（二）—— 多头注意力-Multi-Head Attention及其实现

二、Attention具体实现三、Image中Attention的理解三、Multi-HeadAttention多头注意力是什么四、Multi-HeadAttention多头注意力实现总结前言之前说到VIT
lzzzzzzm·2022-11-22 08:59

如何看待Meta（恺明）最新论文ViTDet：如何看待Meta（恺明）论文ViTDet：只用ViT做backbone的检测模型？...

侵删作者：陈小康https://www.zhihu.com/question/525167811/answer/2419797948从文中的Tab.4,Tab.5的结果来看，同样是IN-21K预训练，ViT-base
woshicver·2022-11-22 08:23

Vision Transformer (ViT)

目录IntroductionMethodVisionTransformer(ViT)Fine-tuningandHigherResolutionExperimentsSetupComparisontoSOTAPre-trainingdatarequirementsScalingstudyInspectingViTSelf-SupervisionReferencesIntroductionViT
连理o·2022-11-22 08:20

EdgeFormer：学习ViT来改进轻量级卷积网络

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨Lart来源丨CV技术指南前言本文主要探究了轻量模型的设计。通过使用VisionTransformer的优势来改进卷积网络，从而获得更好的性能。论文：https://arxiv.org/abs/2203.03952代码(已开源)：https://github.com/hkzhang91/EdgeFormer核心内容本文主要探究了轻量模型
Tom Hardy·2022-11-22 08:44

Vision Transformer原理及模型学习笔记

在特征提取部分，VIT所作的工作就是特征提取。特征提取部分在图片中的对应区域是Patch+PositionEmbedding和TransformerEncoder。
小顾开心编程·2022-11-22 08:42

Vision Transformer学习（一）：Embeddings部分

在CV领域transformer的应用也越来越多，比较著名的VIT模型就是其中之一。
qq_42007099·2022-11-22 08:01

Transformer详解

年提出的一种用于机器翻译的模型，完全摒弃了传统循环神经网络的结构，采用了完全基于注意力机制的结构，取得了相当显著的效果，并且从此使得完全注意力机制这种模型设计模型从NLP领域出圈到计算机视觉领域，比如VIT
loki2018·2022-11-22 05:03

Actionformer: Localizing moments of actions with transformers 论文阅读笔记

论文地址：https://arxiv.org/abs/2202.07925随着2020年ViT[6]的出现，基于自注意的Transformer模型在图像分类和目标检测方面取得了瞩目的成果，而近期又在视频理解方面取得了较好的成果
Encounter84·2022-11-22 02:42

【CLIP】Learning Transferable Visual Models From Natural Language Supervision

图像和文本分别通过各自的encoder得到图像特征和文本特征，图像的encoder可以采用resnet或者VIT，文本的e
S L N·2022-11-22 00:22

PyTorch笔记 - Vision Transformer(ViT)

Transformer包含Encoder和Decoder，核心是Multi-HeadSelf-Attention(空间融合)，FeedForwardNerualNetwork(通道融合)。Encoder和Decoder的交互信息：Memory-baseMulti-HeadCross-Attention注入位置信息PositionEmbedding数据量的要求与归纳偏置(InductiveBias)
SpikeKing·2022-11-21 19:32

解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer

机器之心报道来源：机器之心来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉Transformer，即Next-ViT。
人工智能与算法学习·2022-11-21 17:46

pip install einops安装einops时遇到的问题

最近在运行ViT的程序时，需要安装一个einops库，但是尝试了很多方法都没有成功。最后换了一个服务器账号，终于成功了！后来发现可能是pip的版本不同导致的。
Meilinger_·2022-11-21 17:35

CNN卷土重来！超越Transformer！FAIR重新设计纯卷积架构：ConvNeXt

本文是FAIR的ZhuangLiu(DenseNet的作者)与SainingXie(ResNeXt的作者)关于ConvNet的最新探索，以ResNet为出发点，逐步引入近来ViT架构的一些设计理念而得到的纯
Amusi（CVer）·2022-11-21 16:13

ConvNet---20年代的卷积神经网络

宏观设计2.3ResNeXt-ify2.4倒置瓶颈结构（Mobilenetv2）2.5大卷积核2.6微观设计3.Imagenet上的实验评估3.1实验配置3.2结果3.3各向同性的ConvNeXtVS.ViT4
翻译翻译什么叫深度学习·2022-11-21 16:11

CVPR2022 做语义分割不用任何像素标签，UCSD、英伟达在ViT中加入分组模块

关注公众号，发现CV技术之美本文转自机器之心。生成效果的确很惊艳。视觉场景是由有语义意义的像素组构成。在深度学习的概念出现之前，业界就已经使用经典的视觉理解方法对像素分组和识别进行深入研究。自下而上分组的思想是：首先将像素组织成候选组，然后用识别算法模块处理每个分组。这种思路已经成功应用于超像素图像分割、以及目标检测和语义分割的区域构建。除了自下而上的推理，识别过程中自上而下的反馈信号，能够更好地
我爱计算机视觉·2022-11-21 14:34

vit-pytorch

https://www.bilibili.com/video/BV1AL411W7dT?spm_id_from=333.999.0.0
白色蜻蜓蜓·2022-11-21 13:08

pytorch增加一维_VIT 三部曲 - 3 vit-pytorch

赵zhijian：VIT三部曲赵zhijian：VIT三部曲-2Vision-Transformer赵zhijian：VIT三部曲-3vit-pytorch模型和代码参考https://github.com
weixin_39859394·2022-11-21 13:05

VIT 源码详解

数据集：--namecifar10-100_500--datasetcifar10哪个版本的模型：--model_typeViT-B_16预训练权重：--pretrained_dircheckpoint/ViT-B
樱花的浪漫·2022-11-21 13:01

Vit-详解(结构拆分)

vit结构如下：Transformer主要包含Attention和FeedForwardvit结构手写（对照下面代码观看）：vit实现代码如下，可对照上图理解：importtorchfromtorchimportnnfromeinopsimportrearrange
辣大辣条·2022-11-21 12:59

MetaTransformer——ViT标准模型结构

GitHub-sail-sg/poolformer:PoolFormer:MetaFormerisActuallyWhatYouNeedforVision(CVPR2022Oral)方法主流VisionTransformer(ViT
Law-Yao·2022-11-21 12:29

VIT 简单理解

关键思想：ViT将输入图片分为多个patch（16x16），再将每个patch投影为固定长度的向量送入Transformer，后续encoder的操作和原始Transformer中完全相同。
mingqian_chu·2022-11-21 12:27

ViT(TransReID)模型各阶段形状

ViT外的改进没有记录。有错误或疑问请留言，谢谢。目录1.代码2.参数设
MWHLS·2022-11-21 12:56

Visual Transformer (ViT) 代码实现 PyTorch版本-是一个详细的说明

@[TOC](VisualTransformer(ViT)代码实现PyTorch版本-是一个详细的说明)英文原版：https://github.com/FrancescoSaverioZuppichini
溯水xiangling·2022-11-21 12:26

【超详细】初学者包会的Vision Transformer（ViT）的PyTorch实现代码学习

放一些链接：up霹雳吧啦Wz针对ViT写的博客，论文原文链接，timm库作者的GitHub主页，timm库链接，timm库的官方指南，以及一个非官方的timm库的推荐文章。模型示意图（Base1
NeverEnough_·2022-11-21 12:55

ViT结构详解（附pytorch代码）

参考这篇文章，本文会加一些注解。源自paper:ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALEViT把tranformer用在了图像上,transformer的文章:AttentionisallyouneedViT的结构如下：可以看到是把图像分割成小块，像NLP的句子那样按顺序进入transformer，经过MLP后，
蓝羽飞鸟·2022-11-21 12:24

Swin Transformer 论文与代码阅读

在ViT将Transformer运用到视觉领域之后，基于Transformer的视觉模型遍地开花，SwinTransformer就是其中的代表，SwinTransformer主要解决了Transformer
ChiruZy·2022-11-21 12:38

VIT和Swin Transformer

一VIT模型1代码和模型基础以timm包为代码基础，VIT模型以vit_base_patch16_224作为模型基础2模型结构2.1输入的图像B∗3∗224∗224B*3*224*224B∗3∗224∗
qq_41131535·2022-11-21 12:06

ViViT: A Video Vision Transformer 用于视频数据特征提取的ViT详解【码字中。。】

目录前言摘要一、OverviewofViT回顾视觉ViT二、Embeddingvideoclips视频嵌入方法2.1uniformframesampling均匀采样2.2tubeletembedding
萝卜社长·2022-11-21 12:05

Transformer整体结构代码详解

我对于Transformer结构的pytorch版本进行了代码的梳理以及部分解析，Transformer在自然语言处理以及计算机视觉领域均大放异彩，极大地促进了语言以及视觉(ViT,Swin-T)这两大最为常见的信号的统一处理
春野运·2022-11-21 12:05

When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanis

AbstractIntroductionRelatedWorkShiftBlockArchitectureVariantsExperimentAblationStudyMLP中的展开比τ\tauτ移位通道的百分比Percentageofshiftedchannels移位的像素数Shiftedpixels训练方案ViT-styletrainingschemeconclusionAbstrac
big_hm·2022-11-21 10:59

【读点论文】A ConvNet for the 2020s，结合swin transformer的结构设计和训练技巧调整resnet网络，在类似的FLOPs和参数量取得更好一点的效果

另一方面，普通的ViT在应用于一般的计算机视觉任务时面临困难，如目标检测和语义分割。
羞儿·2022-11-21 10:27

全面分析Vision Transformer如何work的、优势（从低层原理角度）

摘要：近来一段时间，有关视觉ViT的工作层出不穷，目前计算机视觉社区大多将ViT的成
showfaker_·2022-11-21 10:51

python引入不同级文件夹下的包显示：ModuleNotFoundError: No module named ‘****‘的问题

欲在examples/imagenet文件夹下的main.py中引入pytorch_pretrained_vit文件夹下的model.py原来的程序中使用的是下面这条代码：frompytorch_pretrained_vitimportViT
qq_48902945·2022-11-21 08:54

Swin Transformer【Backbone】

ViT让transformer从NLP直接应用到CV有两个直接的问题：尺度问题（比如行人，车等大大小小的尺度问题在NLP领域就没有），序列问题（如果以图像像素点为基本单位，序列太大）。
太简单了·2022-11-21 03:50

Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenar

论文链接：https://arxiv.org/pdf/2207.05501.pdf代码地址：httpsNext-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenar
小小小~·2022-11-20 21:51

[Transformer]Mobile-Former:Bridging MobileNet and Transformer

formAbstractSectionIIntroductionSectionIIRelatedWorkLight-weightconvolutionalneuralnetworksCNN与ViT结合SectionIIIOurMethod
黄小米吖·2022-11-20 21:17

重磅开源！87.5%准确率！十字形注意力的CSWin Transformer

写在前面本文工作的出发点和目前大多数的ViT的出发点非常相似，都是为了
Amusi（CVer）·2022-11-20 21:38

Pale Transformer：新视觉ViT主干

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童PaleTransformer：AGeneralVisionTransformerBackbonewithPale-ShapedAttention论文：https://arxiv.org/abs/2112.14000代码：https://github.com/BR-IDL/PaddleViT最近，Transform
Amusi（CVer）·2022-11-20 21:38

又一篇视觉Transformer综述来了！

其中非常有代表性就是：DETR、ViT等。CVer上周第一时间推送了：华为&北大等联合最新提出的视觉Transformer综述，这周又来了一篇视觉Transformer新综述！
Amusi（CVer）·2022-11-20 20:20

使用ViT（Vision transformer）来训练Cifar10数据集

使用ViT（Visiontransformer）来训练Cifar10数据集下面的代码是使用ViT训练Cifar10数据集的demo。"""
HELLOWORLD2424·2022-11-20 15:16

2023届-计算机视觉算法岗实习面经

字节一面1、自我介绍+项目介绍2、论文的motivation、实施细节3、bn层与卷积层参数融合4、Transformer的计算量和ViT的计算量5、如何降低Transformer的计算量6、开放性问题如何从零开始完成一个基于深度学习的业务在已有的业务基础上
liuz_notes·2022-11-20 15:38

Swin Transformer

HierarchicalVisionTransformerusingShiftedWindows，绕不开的baseline,多模态用有新意的方法有效的解决一个研究问题（1）SwinTransformer整体架构SwinTransformer与VIT
东街流浪猫·2022-11-20 12:40

＜4＞高效解读Swin Transformer

Abstract：ViT(VisionTransformer)在图像大模型领域取得了突破性的进展，然而高昂的计算代价与单一的尺度信息限制了其的推广。
liu_xfx·2022-11-20 12:07

Swin-Transformer

ViT验证了在大规模数据集上进行预训练，然后迁移
陶将·2022-11-20 12:36

swin transformer 论文精读

swintransformer摘要旨在将transformer用在所有视觉任务上(之前的vit只是将transformer用在分类任务上)用在视角任务上有两个难点largevariationsinthescaleofvisualentitiesthehighresolutionofpixelsinimagescomparedtowordsintext
Rui@·2022-11-20 12:33

Swin Transformer论文精读【论文精读】

Swintransformer:HierarchicalvisiontransformerusingshiftedwindowsSwinTransformer是ICCV21的最佳论文，它之所以能有这么大的影响力主要是因为在ViT
MrRoose·2022-11-20 12:33

89.77%准确率！谷歌大脑提出CoAtNet：结合卷积和注意力

谷歌两天祭出两大Backbone，昨天的ViT-G，今天的CoAtNet…注：别老收藏呀，欢迎点赞，支持分享！想看更多CVPR2021论文和开源项目可以点击：CVPR2021-Papers-
Amusi（CVer）·2022-11-20 10:24
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他