VIT

大比分领先！ACCV 2022 国际细粒度图像分析挑战赛冠军方案

例如，在数据清洗方面我们去掉二义性的图片；模型选择和方法方面我们使用了ViT-L和Swin-v2；为了提高实验效率，方便整个实验过程的管理，我们基于MMSelfSup和MM
OpenMMLab·2022-12-16 10:39

Next-ViT论文详解

Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenarios论文：https:
蓝色兔子·2022-12-16 08:19

ViT Transformer论文阅读笔记

arxiv.org/abs/2010.11929代码：https://github.com/google-research/vision_transformer达摩院modelscope模型开源平台快速体验ViT
蓝色兔子·2022-12-16 08:38

VIT模型简洁理解版代码

目录VIT模型简洁理解版代码VIT模型简洁理解版代码##fromhttps://github.com/lucidrains/vit-pytorchimportosos.environ['KMP_DUPLICATE_LIB_OK
HSR CatcousCherishes·2022-12-16 08:04

#今日论文推荐# Transformer 落地出现 | Next-ViT实现工业TensorRT实时落地，超越ResNet、CSWin

#今日论文推荐#Transformer落地出现|Next-ViT实现工业TensorRT实时落地，超越ResNet、CSWin由于复杂的注意力机制和模型设计，大多数现有的ViTs在现实的工业部署场景中不能像
wwwsxn·2022-12-16 08:34

ICLR21(classification) - 未来经典“ViT” 《AN IMAGE IS WORTH 16X16 WORDS》(含代码分析)

文章目录原文地址论文阅读方法初识相知主要技术相关讨论实验回顾代码分析预制模块Transformer-BlockViT原文地址Arxiv原文论文阅读方法三遍论文法初识文章完整题目《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》Transformer本身在NLP领域就已经“大红大紫”了，在CV领域，attention机制
我是大黄同学呀·2022-12-16 08:33

ViT论文学习笔记

《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》《每个图片都可以看作16x16的方格（patch），用于大规模图像识别的Transformers》前言Transformer模型在NLP领域取得巨大成功，所以学者也想把注意力机制引入计算机视觉领域。因为适用于NLP的Transformer模型已经较为成熟，所以将其引入到
一云烟雨·2022-12-16 08:03

ViT代码解读

读懂VIT整体思路切块操作位置编码添加多头注意力机制整体思路VisionTransformer是将Transformer应用在计算机视觉中。
m0_53384927·2022-12-16 08:03

【ARXIV2207】Next-ViT: Next Generation Vision Transformer for Efficient Deployment

【ARXIV2207】Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenarios
AI前沿理论组@OUC·2022-12-16 08:32

EfficientFormer：在iPhone上能实时推理的ViT模型

：https://arxiv.org/abs/2203.03952代码（即将开源）：https://github.com/hkzhang91/EdgeFormerVisionTransformers(ViT
Amusi（CVer）·2022-12-16 08:31

【transformer】【ViT】【code】ViT代码

桃叶儿尖上尖，柳絮儿飞满了天…1导入库importtorchfromtorchimportnn,einsumimporttorch.nn.functionalasFfromeinopsimportrearrange,repeatfromeinops.layers.torchimportRearrange解释：其中einops库用于张量操作，增强代码的可读性，使用还是比较方便的。教程链接：einop
剑宇2022·2022-12-16 08:31

论文笔记 《Next-ViT: Next Generation Vision Transformer for Efficient Deployment inRealistic Industrial 》

在这些工作中，我们提出了在现实工业场景中有效部署的下一代愿景变压器，即next-vit，它从延迟/精度权衡的角度主导了CNNs和vit。分别
MarvinP·2022-12-16 08:30

Next-ViT学习笔记

Next-ViT学习笔记Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenariosAbstract
麻花地·2022-12-16 08:29

ViT-B参数量计算

ViT-B:layers=12,hidden_size=768,MLP_size=3072,heads=12,params=86M,image_size=384+1参考：https://blog.csdn.net
zkxhlbt·2022-12-16 07:26

论文笔记：Meta-attention for ViT-backed Continual Learning CVPR 2022

论文笔记：Meta-attentionforViT-backedContinualLearningCVPR2022论文介绍论文地址以及参考资料Transformer回顾Self-AttentionVisiontransformer论文的方法MEta-ATtention(MEAT)---AttentiontoSelf-attentionBinaryattentionmasks-GumbelMax技巧
星光点点wwx·2022-12-16 07:25

Transformer Vision（二）|| ViT-B/16 网络结构

1.原理图将一张图片拆分开来如下图所示，下图的0,1,2，…，8,9是用于记录图片的位置信息2.TransformerEncoder结构图(L×指重复堆叠L次)3.实现过程：更为详细的EncoderBlock图上图中的MLPBlock图解为4.MLPHead层注意：在TransformerEncoder前有一个Dropout层，后有一个LayerNorm层训练自己的网络时，可简单将MLPHead层
Anthony_CH·2022-12-16 07:24

ViT-YOLO论文解读

论文：《ViT-YOLO:Transformer-BasedYOLOforObjectDetection》https://openaccess.thecvf.com/content/ICCV2021W/
易大飞·2022-12-16 07:24

论文精读：VIT - AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

ABSTRACT虽然Transformer架构已经成为自然语言处理任务的实际标准，但它在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合应用，要么用于替换卷积网络的某些组成部分，同时保持它们的整体结构。我们证明了这种对cnn的依赖是不必要的，而一个直接应用于图像补丁序列的纯Transformer可以很好地执行图像分类任务。当对大量数据进行预训练，并转移到多个中型或小型图像识别基准数据
樱花的浪漫·2022-12-16 07:24

ViT-Adapter：Vision Transformer Adapter for Dense Predictions

ViT-Adapter：VisionTransformerAdapterforDensePredictions论文地址：https://arxiv.org/abs/2205.0853SL是监督学习，SSL
ACuliflower·2022-12-16 07:54

ViT-Adapter：用于密集预测的视觉Transformer适配器

VisionTransformerAdapterforDensePredictions论文：https://arxiv.org/abs/2205.08534代码（即将开源）：https://github.com/czczup/ViT-Adapter
Amusi（CVer）·2022-12-16 07:52

vit-5

这个是Transformer和vit的合集啊~~以ViT这一典型的Transformer模型为例，使用低成本、高收益的AI模型自动压缩工具（ACT,AutoCompressionToolkit）。
whaosoft143·2022-12-16 07:21

【论文笔记】ConvNeXt论文阅读笔记

paper：AConvNetforthe2020sgithub：https://github.com/facebookresearch/ConvNeXt自从ViT出现，在分类任务中很快取代各种CNN网络拿下
嘟嘟太菜了·2022-12-15 21:37

（pytorch进阶之路）ConvNeXt论文及实现

main.py学习其main.py写法导读ConvNeXt基于RestNet50，灵感来自于Sw-Transformer，对ResNet50进行改进，仍保证是卷积网路，是篇调参发挥极致的论文传统卷积与现代VIT
likeGhee·2022-12-15 21:07

Google顶级网络CoAtNet(CNN+TFM 89.77% ImageNet top1精度)+代码+基于CIFAR10的实验流程

代码链接在最下面同时希望大家可以看看最后我想说的一些话，谢谢介绍：这个是我们人工智能的实践课内容，因为觉得如果做一些没有的实验，那多浪费时间啊，所以想要把从我们刚开始学深度学习开始接触的MLP到ResNet到ViT
Ye_Z·2022-12-15 20:19

关于vit的预研

1图片分类网络ViT、MobileViT、Swin-Transformer、MobileNetV3、ConvNeXt、EfficientNetV22极智AI|详解ViT算法实现_wx621f3bb1e27ee
爱CV·2022-12-15 12:44

ViT论文逐段精读【论文精读】-跟李沐学AI

视频链接：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibiliViT：过去一年，CV最有影响力的工作推翻了2012Alexnet提出的CNN在CV的统治地位有足够多的预训练数据，NLP的Transformer
MT_Joy·2022-12-15 06:29

[PaperReading]ConvNeXt

除了一开始的图片分块操作，原始的ViT结构没有引入任何归纳偏置。
HenryFar·2022-12-14 22:09

ViT论文笔记

ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALEarxiv摘要虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们表明，这种对CNN的依赖是不必要的，直接应用于图像块序列（im
滴嘟滴嘟dzj·2022-12-14 14:30

探究vite——新一代前端开发与构建工具（一）

Vite(法语意为"快速的"，发音/vit/)是一种新型前端构建工具，能够显著提升前端开发体验。
任磊abc·2022-12-14 09:48

Vue3.x +Vite引入第三方Cesium包的配置方法

2.Vue3.x+Vite环境搭建安装vit
铭崴·2022-12-14 09:17

VTN：视频Transformer网络

可与现有backbone结合，使其具有超强视频分类/理解的能力，如ViT/DeiT+VTN真香！训练速度提高了16.1倍，运行速度提高了5.1倍，代码和预训练模型即将开源！
Amusi（CVer）·2022-12-14 06:48

Self-Attention 、 Multi-Head Attention 、VIT 学习记录及源码分享

这里写目录标题1参考资料2重点记录2.1Self-Attention2.2Multi-HeadAttention3.VisionTransformer(VIT)3.1纯VIT3.2HybridVIT4代码使用前言
Philo`·2022-12-14 03:35

NLP领域的ELECTRA在符号预测上的应用

基于ELECTRA的标点符号预测1.资源更多CV和NLP中的transformer模型(BERT、ERNIE、ViT、DeiT、SwinTransformer等)、深度学习资料，请参考：awesome-DeepLearning
飞桨PaddlePaddle·2022-12-14 03:01

Token Merging: Your ViT But Faster

论文：https://arxiv.org/pdf/2210.09461.pdf代码：https://github.com/facebookresearch/ToMe参考：极市开发者平台-计算机视觉算法开发落地平台ToMe通过匹配算法将相似token合并，其优势在于无需重复训练，可用于模型推理。和TCFormer相比：1）策略：TCFormer基于knn-based算法做聚类，ToMe基于二分图的软
zzl_1998·2022-12-14 01:21

BERT大火却不懂Transformer？

前段时间Transformer已席卷计算机视觉领域，并获得大量好评，如『基于Swin-Transformer』、『美团提出具有「位置编码」的Transformer，性能优于ViT和DeiT』、『LiftingTransformer
计算机视觉研究院·2022-12-14 01:47

何恺明一作最新工作！MAE：简单实用的自监督学习方案，高达87.8%准确率！仅用ImageNet-1K...

该方案使得所得高精度模型具有很好的泛化性能：仅需ImageNet-1K，ViT-Huge取得了87.8%的top1精度。MaskedAu
Amusi（CVer）·2022-12-13 21:15

北大联合UCLA发表论文：9头以上Transformer就能模拟CNN！

转自：新智元VisualTransformer（ViT）在计算机视觉界可以说是风头无两，完全不使用卷积神经网络（CNN）而只使用自注意力机制的情况下，还可以在各个CV任务上达到sota。
深度学习技术前沿·2022-12-13 21:06

ICCV 2021 | Transformer结合自监督学习！Facebook开源DINO

EmergingPropertiesinSelf-SupervisedVisionTransformersABSTRACT在本文中，我们质疑自监督学习是否为VisionTransformer(ViT)提供了新的特性
tiantianwenwen·2022-12-13 11:16

Transformer主干网络——Swin保姆级解析

前言论文地址：arxiv代码地址：github接收单位：ICCV2021best系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer
只会git clone的程序员·2022-12-12 21:19

Transformer主干网络——T2T-ViT保姆级解析

前言论文地址：paper代码地址：github系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer主干网络——T2T-ViT
只会git clone的程序员·2022-12-12 21:18

Transformer主干网络——TNT保姆级解析

前言论文地址：arxiv代码地址：github接收单位：NeurIPS2021系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer
只会git clone的程序员·2022-12-12 21:18

Transformer主干网络——PVT_V1保姆级解析

前言论文地址：PVT1代码地址：github作者很厉害…各种cv的顶会收割机…系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer
只会git clone的程序员·2022-12-12 21:18

Transformer主干网络——PVT_V2保姆级解析

前言论文地址：PVT2代码地址：github系列文章Transformer主干网络——ViT保姆级解析Transformer主干网络——DeiT保姆级解析Transformer主干网络——T2T-ViT
只会git clone的程序员·2022-12-12 21:12

字节提出TRT-ViT：面向TensorRT的视觉Transformer，加速显著！

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童TRT-ViT:TensorRT-orientedVisionTransformer论文：https://arxiv.org
Tom Hardy·2022-12-11 20:41

第十二周周报

学习目标：有关DDPM+VIT的论文学习内容：1、Few-ShotDiffusionModels2、YourViTisSecretlyaHybridDiscriminative-GenerativeDiffusionModel
童、一·2022-12-11 15:54

【InternImage】Exploring Large-Scale Vision Foundation Models with Deformable Convolutions

基于DeformableConv的大规模基础模型特点：采用DeformableConvV3【v219论文】CNN模型背景大规模的ViT模型借助模型能力在超大规模数据集上取得了非常高的性能，然而大规模CNN
vcbe·2022-12-11 15:46

Transformer15

得益于良好的可扩展性和表征能力，基于视觉Transformer(VisionTransformer,ViT)的大规模视觉基础模型吸引了研究社区的广泛关注，并在多种视觉感知任务中广泛应用。
whaosoft143·2022-12-11 08:21

深度学习——MetaFormer Is Actually What You Need for Vision

该文章研究了ViT结构和类MLP结构的模型，将两者中相同的部分提取出来，组成了MetaFormer结构，并指出两者的性能都得益于MetaFormer结构，接着在此基础上提出了PoolFormer结构。
菜到怀疑人生·2022-12-11 02:33

10+个神经网络

文章目录Transformer.ViT.DETRSNNYOLOV12345XESSDRCNN.fastRCNN.fasterRCNNMaskRCNNUNetinceptionV123FlowNetconvLSTMCAEResNet
星尘逸风·2022-12-10 21:38

两行代码自动压缩ViT模型！模型体积减小3.9倍，推理加速7.1倍

Transformer模型及其变体，因其更优的注意力机制能力和长时依赖等特性，已成为自然语言处理(NLP)、语音识别(ASR)、计算机视觉(CV)等领域的主流序列建模结构。根据PaperWithCode网站ObjectDetectiononCOCOtest-dev专栏数据，检测任务中Transformer类模型精度早已超越卷积类模型。然而，Transformer模型的体积和速度相比卷积网络却存在很
百度大脑·2022-12-10 09:32
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他