VIT

【ARXIV2207】Next-ViT: Next Generation Vision Transformer for Efficient Deployment

【ARXIV2207】Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenarios
AI前沿理论组@OUC·2022-12-16 08:32

EfficientFormer：在iPhone上能实时推理的ViT模型

：https://arxiv.org/abs/2203.03952代码（即将开源）：https://github.com/hkzhang91/EdgeFormerVisionTransformers(ViT
Amusi（CVer）·2022-12-16 08:31

【transformer】【ViT】【code】ViT代码

桃叶儿尖上尖，柳絮儿飞满了天…1导入库importtorchfromtorchimportnn,einsumimporttorch.nn.functionalasFfromeinopsimportrearrange,repeatfromeinops.layers.torchimportRearrange解释：其中einops库用于张量操作，增强代码的可读性，使用还是比较方便的。教程链接：einop
剑宇2022·2022-12-16 08:31

论文笔记 《Next-ViT: Next Generation Vision Transformer for Efficient Deployment inRealistic Industrial 》

在这些工作中，我们提出了在现实工业场景中有效部署的下一代愿景变压器，即next-vit，它从延迟/精度权衡的角度主导了CNNs和vit。分别
MarvinP·2022-12-16 08:30

Next-ViT学习笔记

Next-ViT学习笔记Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenariosAbstract
麻花地·2022-12-16 08:29

ViT-B参数量计算

ViT-B:layers=12,hidden_size=768,MLP_size=3072,heads=12,params=86M,image_size=384+1参考：https://blog.csdn.net
zkxhlbt·2022-12-16 07:26

论文笔记：Meta-attention for ViT-backed Continual Learning CVPR 2022

论文笔记：Meta-attentionforViT-backedContinualLearningCVPR2022论文介绍论文地址以及参考资料Transformer回顾Self-AttentionVisiontransformer论文的方法MEta-ATtention(MEAT)---AttentiontoSelf-attentionBinaryattentionmasks-GumbelMax技巧
星光点点wwx·2022-12-16 07:25

Transformer Vision（二）|| ViT-B/16 网络结构

1.原理图将一张图片拆分开来如下图所示，下图的0,1,2，…，8,9是用于记录图片的位置信息2.TransformerEncoder结构图(L×指重复堆叠L次)3.实现过程：更为详细的EncoderBlock图上图中的MLPBlock图解为4.MLPHead层注意：在TransformerEncoder前有一个Dropout层，后有一个LayerNorm层训练自己的网络时，可简单将MLPHead层
Anthony_CH·2022-12-16 07:24

ViT-YOLO论文解读

论文：《ViT-YOLO:Transformer-BasedYOLOforObjectDetection》https://openaccess.thecvf.com/content/ICCV2021W/
易大飞·2022-12-16 07:24

论文精读：VIT - AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

ABSTRACT虽然Transformer架构已经成为自然语言处理任务的实际标准，但它在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合应用，要么用于替换卷积网络的某些组成部分，同时保持它们的整体结构。我们证明了这种对cnn的依赖是不必要的，而一个直接应用于图像补丁序列的纯Transformer可以很好地执行图像分类任务。当对大量数据进行预训练，并转移到多个中型或小型图像识别基准数据
樱花的浪漫·2022-12-16 07:24

ViT-Adapter：Vision Transformer Adapter for Dense Predictions

ViT-Adapter：VisionTransformerAdapterforDensePredictions论文地址：https://arxiv.org/abs/2205.0853SL是监督学习，SSL
ACuliflower·2022-12-16 07:54

ViT-Adapter：用于密集预测的视觉Transformer适配器

VisionTransformerAdapterforDensePredictions论文：https://arxiv.org/abs/2205.08534代码（即将开源）：https://github.com/czczup/ViT-Adapter
Amusi（CVer）·2022-12-16 07:52

vit-5

这个是Transformer和vit的合集啊~~以ViT这一典型的Transformer模型为例，使用低成本、高收益的AI模型自动压缩工具（ACT,AutoCompressionToolkit）。
whaosoft143·2022-12-16 07:21

【论文笔记】ConvNeXt论文阅读笔记

paper：AConvNetforthe2020sgithub：https://github.com/facebookresearch/ConvNeXt自从ViT出现，在分类任务中很快取代各种CNN网络拿下
嘟嘟太菜了·2022-12-15 21:37

（pytorch进阶之路）ConvNeXt论文及实现

main.py学习其main.py写法导读ConvNeXt基于RestNet50，灵感来自于Sw-Transformer，对ResNet50进行改进，仍保证是卷积网路，是篇调参发挥极致的论文传统卷积与现代VIT
likeGhee·2022-12-15 21:07

Google顶级网络CoAtNet(CNN+TFM 89.77% ImageNet top1精度)+代码+基于CIFAR10的实验流程

代码链接在最下面同时希望大家可以看看最后我想说的一些话，谢谢介绍：这个是我们人工智能的实践课内容，因为觉得如果做一些没有的实验，那多浪费时间啊，所以想要把从我们刚开始学深度学习开始接触的MLP到ResNet到ViT
Ye_Z·2022-12-15 20:19

关于vit的预研

1图片分类网络ViT、MobileViT、Swin-Transformer、MobileNetV3、ConvNeXt、EfficientNetV22极智AI|详解ViT算法实现_wx621f3bb1e27ee
爱CV·2022-12-15 12:44

ViT论文逐段精读【论文精读】-跟李沐学AI

视频链接：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibiliViT：过去一年，CV最有影响力的工作推翻了2012Alexnet提出的CNN在CV的统治地位有足够多的预训练数据，NLP的Transformer
MT_Joy·2022-12-15 06:29

[PaperReading]ConvNeXt

除了一开始的图片分块操作，原始的ViT结构没有引入任何归纳偏置。
HenryFar·2022-12-14 22:09

ViT论文笔记

ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALEarxiv摘要虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们表明，这种对CNN的依赖是不必要的，直接应用于图像块序列（im
滴嘟滴嘟dzj·2022-12-14 14:30

探究vite——新一代前端开发与构建工具（一）

Vite(法语意为"快速的"，发音/vit/)是一种新型前端构建工具，能够显著提升前端开发体验。
任磊abc·2022-12-14 09:48

Vue3.x +Vite引入第三方Cesium包的配置方法

2.Vue3.x+Vite环境搭建安装vit
铭崴·2022-12-14 09:17

VTN：视频Transformer网络

可与现有backbone结合，使其具有超强视频分类/理解的能力，如ViT/DeiT+VTN真香！训练速度提高了16.1倍，运行速度提高了5.1倍，代码和预训练模型即将开源！
Amusi（CVer）·2022-12-14 06:48

Self-Attention 、 Multi-Head Attention 、VIT 学习记录及源码分享

这里写目录标题1参考资料2重点记录2.1Self-Attention2.2Multi-HeadAttention3.VisionTransformer(VIT)3.1纯VIT3.2HybridVIT4代码使用前言
Philo`·2022-12-14 03:35

NLP领域的ELECTRA在符号预测上的应用

基于ELECTRA的标点符号预测1.资源更多CV和NLP中的transformer模型(BERT、ERNIE、ViT、DeiT、SwinTransformer等)、深度学习资料，请参考：awesome-DeepLearning
飞桨PaddlePaddle·2022-12-14 03:01

Token Merging: Your ViT But Faster

论文：https://arxiv.org/pdf/2210.09461.pdf代码：https://github.com/facebookresearch/ToMe参考：极市开发者平台-计算机视觉算法开发落地平台ToMe通过匹配算法将相似token合并，其优势在于无需重复训练，可用于模型推理。和TCFormer相比：1）策略：TCFormer基于knn-based算法做聚类，ToMe基于二分图的软
zzl_1998·2022-12-14 01:21

BERT大火却不懂Transformer？

前段时间Transformer已席卷计算机视觉领域，并获得大量好评，如『基于Swin-Transformer』、『美团提出具有「位置编码」的Transformer，性能优于ViT和DeiT』、『LiftingTransformer
计算机视觉研究院·2022-12-14 01:47

何恺明一作最新工作！MAE：简单实用的自监督学习方案，高达87.8%准确率！仅用ImageNet-1K...

该方案使得所得高精度模型具有很好的泛化性能：仅需ImageNet-1K，ViT-Huge取得了87.8%的top1精度。MaskedAu
Amusi（CVer）·2022-12-13 21:15

北大联合UCLA发表论文：9头以上Transformer就能模拟CNN！

转自：新智元VisualTransformer（ViT）在计算机视觉界可以说是风头无两，完全不使用卷积神经网络（CNN）而只使用自注意力机制的情况下，还可以在各个CV任务上达到sota。
深度学习技术前沿·2022-12-13 21:06

ICCV 2021 | Transformer结合自监督学习！Facebook开源DINO

EmergingPropertiesinSelf-SupervisedVisionTransformersABSTRACT在本文中，我们质疑自监督学习是否为VisionTransformer(ViT)提供了新的特性
tiantianwenwen·2022-12-13 11:16

Transformer主干网络——Swin保姆级解析

前言论文地址：arxiv代码地址：github接收单位：ICCV2021best系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer
只会git clone的程序员·2022-12-12 21:19

Transformer主干网络——T2T-ViT保姆级解析

前言论文地址：paper代码地址：github系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer主干网络——T2T-ViT
只会git clone的程序员·2022-12-12 21:18

Transformer主干网络——TNT保姆级解析

前言论文地址：arxiv代码地址：github接收单位：NeurIPS2021系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer
只会git clone的程序员·2022-12-12 21:18

Transformer主干网络——PVT_V1保姆级解析

前言论文地址：PVT1代码地址：github作者很厉害…各种cv的顶会收割机…系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer
只会git clone的程序员·2022-12-12 21:18

Transformer主干网络——PVT_V2保姆级解析

前言论文地址：PVT2代码地址：github系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer主干网络——T2T-ViT
只会git clone的程序员·2022-12-12 21:12

字节提出TRT-ViT：面向TensorRT的视觉Transformer，加速显著！

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童TRT-ViT:TensorRT-orientedVisionTransformer论文：https://arxiv.org
Tom Hardy·2022-12-11 20:41

第十二周周报

学习目标：有关DDPM+VIT的论文学习内容：1、Few-ShotDiffusionModels2、YourViTisSecretlyaHybridDiscriminative-GenerativeDiffusionModel
童、一·2022-12-11 15:54

【InternImage】Exploring Large-Scale Vision Foundation Models with Deformable Convolutions

基于DeformableConv的大规模基础模型特点：采用DeformableConvV3【v219论文】CNN模型背景大规模的ViT模型借助模型能力在超大规模数据集上取得了非常高的性能，然而大规模CNN
vcbe·2022-12-11 15:46

Transformer15

得益于良好的可扩展性和表征能力，基于视觉Transformer(VisionTransformer,ViT)的大规模视觉基础模型吸引了研究社区的广泛关注，并在多种视觉感知任务中广泛应用。
whaosoft143·2022-12-11 08:21

深度学习——MetaFormer Is Actually What You Need for Vision

该文章研究了ViT结构和类MLP结构的模型，将两者中相同的部分提取出来，组成了MetaFormer结构，并指出两者的性能都得益于MetaFormer结构，接着在此基础上提出了PoolFormer结构。
菜到怀疑人生·2022-12-11 02:33

10+个神经网络

文章目录Transformer.ViT.DETRSNNYOLOV12345XESSDRCNN.fastRCNN.fasterRCNNMaskRCNNUNetinceptionV123FlowNetconvLSTMCAEResNet
星尘逸风·2022-12-10 21:38

两行代码自动压缩ViT模型！模型体积减小3.9倍，推理加速7.1倍

Transformer模型及其变体，因其更优的注意力机制能力和长时依赖等特性，已成为自然语言处理(NLP)、语音识别(ASR)、计算机视觉(CV)等领域的主流序列建模结构。根据PaperWithCode网站ObjectDetectiononCOCOtest-dev专栏数据，检测任务中Transformer类模型精度早已超越卷积类模型。然而，Transformer模型的体积和速度相比卷积网络却存在很
百度大脑·2022-12-10 09:32

【模式识别大作业】

模式识别大作业1.题目：基于改进LetNet5和VIT神经网络cifar10识别方法研究2.作业内容要求：2.1.简述模式识别系统2.2.介绍分类器卷积和VIT神经网络基本原理3.研究实验运行环境说明4
2345VOR·2022-12-10 08:06

《Vision Transformer (ViT)》论文精度，并解析ViT模型结构以及代码实现

《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》论文共有22页，表格和图像很多，网络模型结构解释的很清楚，并且用四个公式展示了模型的计算过程；本文章对其进行精度，并对源码进行剖析，希望读者可以耐心读下去。论文地址：https://arxiv.org/abs/2010.11929源码地址（pytorch）：https:
Flying Bulldog·2022-12-10 03:55

VIT(vision transformer)结构解析

目录背景原文：Animageisworth16x16words:Transformersforimagerecognitionatscaled代码：https://github.com/google-research/vision_transformerTheAttentionisallyouneed的论文彻底改变了自然语言处理的世界，基于Transformer的架构成为自然语言处理任务的实际标准
狗都不学计算机！·2022-12-10 03:44

一文梳理视觉Transformer架构进展：与CNN相比，ViT赢在哪儿？

与卷积神经网络（CNN）相比，视觉Transformer（ViT）依靠出色的建模能力，在ImageNet、COCO和ADE
深度学习技术前沿·2022-12-09 15:10

模型实践 | 可变形的 Attention 助力 ViT 优化

VisionTransformer(ViT)模型在各类视觉任务上都展现出了强⼤的性能。
幻方AI小编·2022-12-09 08:35

ViTDet:Exploring Plain Vision Transformer Backbonesfor Object Detection（arXiv 2022）

摘要本文提出了一种简单、无层次的视觉Transformer(ViT)作为目标检测的骨干网络。这种设计使原始
Y蓝田大海·2022-12-09 08:01

CVPR22 ｜CMT：CNN和Transformer的高效结合（开源）

华为诺亚实验室的研究员提出一种新型视觉网络架构CMT，通过简单的结合传统卷积和Transformer，获得的网络性能优于谷歌提出的EfficientNet，ViT和MSRA的SwinTransformer
Tom Hardy·2022-12-09 08:59

transformer中QKV的通俗理解(剩女与备胎的故事)

用vit的时候读了一下transformer的思想,前几天面试结束之后发现对QKV又有点忘记了,写一篇文章来记录一下参考链接:哔哩哔哩:在线激情讲解transformer&Attention注意力机制（
Peter_Gao_·2022-12-09 08:20
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他