ViT——ShuSenWang

课程九学习笔记: 自监督ViT算法：BeiT和MAE

课程九学习笔记:自监督ViT算法：BeiT和MAE1.SSL在NLP中的应用：2.Bert3.BeiT4.MAE：MaskedAutoencodersAreScalableVisionLearners5
Laura_Wangzx·2022-11-24 10:37

已解决：KeyError: ‘Transformer/encoderblock_0/MultiHeadDotProductAttention_1/query\\kernel is

最近在研究Transformer在细粒度图像的应用，解决vit源码的坑KeyError:'Transformer/encoderblock_0/MultiHeadDotProductAttention_
叫我小张就行了·2022-11-24 10:36

【深度学习】ToMe：我的方法无需训练即可加速 ViT 模型｜搞懂Transformer系列

作者丨科技猛兽编辑丨极市平台导读这篇文章提出了一种无需训练即可加速ViT模型，提高吞吐量的方法TokenMerging(ToMe)。
风度78·2022-11-24 10:03

兼具Swin和ViT的优势！可用于MAE预训练的超简单层次Transformer结构

高效实现的一个关键思想是在整个目标网络编码器中丢弃掩蔽图像patch或token，这要求编码器是普通视觉Transformer（例如ViT），但是分层视觉Transformer（例如SwinTransformer
PaperWeekly·2022-11-24 10:33

注意力机制、Transformer、Vit、MAE学习资料记录

Transformer:论文:论文博客:我导博客源码：深入剖析PyTorch中的TransformerAPI源码VisionTransformer:论文论文博客:我导博客源码：VisionTransformer(ViT
Albert_XZR·2022-11-24 10:29

论文笔记： ICLR2021 Deformable DETR: Deformable Transformers for End-to-End Object Detection

参考：DeformableDETR学习笔记_WaitPX的博客-CSDN博客_deformabledetr基于Transformer的ViT、DETR、DeformableDETR原理详解-Jerry_Jin
_击空明兮溯流光_·2022-11-24 09:50

深度学习笔记（5）——YOLOS模型解析

深度学习笔记（5）——YOLOS模型文章目录深度学习笔记（5）——YOLOS模型前言一、ViT模型二、使用步骤1.引入库2.读入数据总结前言前段时间，老师让我进行ViT改写成YOLOS,在一番折腾后，终于代码可以运行接下来就记录一下从
江清月近人。·2022-11-24 07:42

ConvNext-Pytorch实现心肾脾胰器官分割

arxiv.org/abs/2201.03545我的code（四分类分割）：ConvNext_Seg:Pytorch复现ConvNext网络，实现心肾脾胰器官分割(2D)(gitee.com)作者认为VIT
whetherfailbuttry·2022-11-24 05:23

Transformer+异常检测论文解读

OOD的主要步骤都如下：训练一个ViT（有监督）。根据ViT提
蓝鲸鱼BlueWhale·2022-11-24 01:47

VIT模型个人笔记

前言VIT模型即visiontransformer，其想法是将在NLP领域的基于自注意力机制transformer模型用于图像任务中，相比于图像任务中的传统的基于卷积神经网络模型，VIT模型在大数据集上有着比卷积网络更强的效果和更节约的成本
qq_45836365·2022-11-24 00:15

行为识别方法简介

dense-trajectories)2.2基于深度学习的方法2.2.1双流网络2.2.23D卷积网络（C3D）2.2.3LSTM（长短期记忆网络）2.2.4GCN2.2.5视觉Transformer（ViT
Mr___WQ·2022-11-23 14:00

[Transformer] Next-ViT: Next Generation Vision Transformer

Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenarioshttps://arxiv.org
Cherry_qy·2022-11-23 12:10

V2X-ViT：基于Vision Transformer的V2X协同感知

论文标题：V2X-ViT:Vehicle-to-EverythingCooperativePerceptionwithVisionTransformer发表期刊/会议：ECCV2022开源代码：https
superbzhoucc·2022-11-23 12:09

Vision Transformer(VIT)

VIT代表着transformer向cv领域的正式进军，nlp在transformer中将字符转为token，如要将cv中每个像素点作为token，224*224=50176>>512，参数量巨大。
北落师门XY·2022-11-23 12:08

Vision Transformer（ViT）简介理解

参考：https://gitee.com/mindspore/vision/blob/master/examples/classification/vit/vit.ipynb模型特点ViT模型是应用于图像分类领域
愚昧之山绝望之谷开悟之坡·2022-11-23 12:34

Vision Transformer (ViT)

文章目录VisionTransformer(ViT)1.回顾Transformer(TRM)2.ViT2.1.输入处理2.2.patchembedding（结构图的2）2.3.CLS和位置编码（结构图的
damonzheng46·2022-11-23 12:33

字节提出Next-ViT：工业场景中高效部署的下一代视觉Transformer

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：集智书童Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenarios
Amusi（CVer）·2022-11-23 12:33

Vision Transformer | Arxiv 2205 - TRT-ViT 面向 TensorRT 的 Vision Transformer

Arxiv2205-TRT-ViT面向TensorRT的VisionTransformer论文：https://arxiv.org/abs/2205.09579原始文档：https://www.yuque.com
有为少年·2022-11-23 12:02

理解 Vision Transformer - ViT

引言如果要问过去一年CV领域什么工作最火，ViT绝对是其中之一，自AlexNet问世以来，卷积神经网络几乎一直是处理图像的主流框架，ViT的出现首次对该框架提出了挑战。
XuanyuXiang·2022-11-23 12:00

Pytorch中apply函数作用

如下apply递归调用_init_vit_weights，初始化ViT模型的子模块。
惊鸿落-Capricorn·2022-11-23 12:59

Swin-Transformer 详解

与之前的VisionTransformer(ViT)(Dosovitskiyetal.,2020)不同，SwinTransformer高效且精准，由于这些可人的特性，
欢乐的小树·2022-11-23 08:05

Swin-Transformer论文解析

目录Swin-TransformerAttention机制的发展历程Attention中Q、K、V的概念Attention的计算过程swin-transformer与VIT的区别swin-transformer
xungeer29·2022-11-23 08:32

VIT attention实现（paddle2.2）

#ViTOnlineClass#Author:Dr.Zhu#Project:PaddleViT(https://github.com/BR-IDL/PaddleViT)#2021.11importpaddleimportpaddle.nnasnnpaddle.set_device('cpu')classAttention(nn.Layer):#TODO:补全时，删除passdef__init__(
lanmengyiyu·2022-11-23 08:48

VIT中PatchEmbedding和Mlp的实现（paddle2.2版本）

在PatchEmbedding中，我们设置patch的大小为7∗77*77∗7，输出通道数为16，因此原始224∗224∗3224*224*3224∗224∗3的图片会首先变成32∗32∗1632*32*1632∗32∗16，这里暂且忽略batchsize，之后将32∗3232*3232∗32拉平，变成1024∗161024*161024∗16在Mlp中，其实就是两层全连接层，该mlp一般接在at
lanmengyiyu·2022-11-23 08:18

粗读Is Space-Time Attention All You Need for Video Understanding?

传统的ViT只关注目前这一帧的其他区域，而本文会关注前后帧的信息。同时，本文关注的是DividedSpace-TimeAtten
格里芬阀门工·2022-11-23 07:43

PyTorch笔记 - SwinTransformer的原理与实现

HierarchicalVisionTransformerusingShiftedWindowsMRA：MicrosoftResearchAsia，微软亚洲研究院参考：SwinTransformer相比之前的ViT
SpikeKing·2022-11-23 07:28

PyTorch - MAE(Masked Autoencoders)推理脚本

MAE推理脚本：需要安装：pipinstalltimm==0.4.5需要下载：mae_visualize_vit_base.pth，447M源码：#!
SpikeKing·2022-11-23 07:28

终于有人把 CV Transformer 讲清楚了！！！

与卷积神经网络（CNN）相比，视觉Transformer（ViT）依靠出色的建模能力，在ImageNet、COCO和ADE20k等多个基准上取得了非常优异的性能。
woshicver·2022-11-23 04:24

【读点论文】Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial

Next-ViT:NextGenerationVisionTransformerforEfficientDeploymentinRealisticIndustrialScenariosAbstract由于复杂的注意力机制和模型设计
羞儿·2022-11-23 04:51

Matlab - MATLAB可视化/画图技巧（持续更新）

2维图片图像分割成不同的patches27.08.2021最近在尝试ViT模型，在可视化输入数据时需要把图片分割成若干部分（patches）。
禾三分·2022-11-23 02:56

【CV Transformer 论文笔记】PS-ViT: Vision Transformer with Progressive Sampling

论文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Yue_Vision_Transformer_With_Progressive_Sampling_ICCV_2021_paper.pdf项目地址：https://github.com/yuexy/PS-ViTViT直接将纯Transformer架构应用于图像分类，通过简单地将图像分
河无湖·2022-11-23 01:24

Swin-Transformer（2021-08）

Swin与ViT的对比，ViT将image划分为固定大小的patch，以patch为单位进行attention计算，计算过程中的featuremap分辨率是保持不变的，并且ViT为了保持与NLP的一致性
GY-赵·2022-11-22 23:08

[论文阅读笔记11]Swin-Transformer

0.前言SwinTransformer,即ShiftWindowTransformer,它旨在让Transformer结构跟CNN一样,也可以作为骨干网络在各种计算机视觉任务中来使用,以及解决ViT计算复杂度高的问题
wjpwjpwjp0831·2022-11-22 23:38

当Swin Transformer遇上DCN，清华可变形注意力Transformer模型优于多数ViT

©作者|小舟来源|机器之心本文中，来自清华大学、AWSAI和北京智源人工智能研究院的研究者提出了一种新型可变形自注意力模块，其中以数据相关的方式选择自注意力中键值对的位置，使得自注意力模块能够专注于相关区域，并捕获更多信息特征。Transformer近来在各种视觉任务上表现出卓越的性能，感受野赋予Transformer比CNN更强的表征能力。然而，简单地扩大感受野会引起一些问题。一方面，使用密集注
PaperWeekly·2022-11-22 11:06

VisionTransformer（二）—— 多头注意力-Multi-Head Attention及其实现

二、Attention具体实现三、Image中Attention的理解三、Multi-HeadAttention多头注意力是什么四、Multi-HeadAttention多头注意力实现总结前言之前说到VIT
lzzzzzzm·2022-11-22 08:59

如何看待Meta（恺明）最新论文ViTDet：如何看待Meta（恺明）论文ViTDet：只用ViT做backbone的检测模型？...

侵删作者：陈小康https://www.zhihu.com/question/525167811/answer/2419797948从文中的Tab.4,Tab.5的结果来看，同样是IN-21K预训练，ViT-base
woshicver·2022-11-22 08:23

Vision Transformer (ViT)

目录IntroductionMethodVisionTransformer(ViT)Fine-tuningandHigherResolutionExperimentsSetupComparisontoSOTAPre-trainingdatarequirementsScalingstudyInspectingViTSelf-SupervisionReferencesIntroductionViT
连理o·2022-11-22 08:20

EdgeFormer：学习ViT来改进轻量级卷积网络

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨Lart来源丨CV技术指南前言本文主要探究了轻量模型的设计。通过使用VisionTransformer的优势来改进卷积网络，从而获得更好的性能。论文：https://arxiv.org/abs/2203.03952代码(已开源)：https://github.com/hkzhang91/EdgeFormer核心内容本文主要探究了轻量模型
Tom Hardy·2022-11-22 08:44

Vision Transformer原理及模型学习笔记

在特征提取部分，VIT所作的工作就是特征提取。特征提取部分在图片中的对应区域是Patch+PositionEmbedding和TransformerEncoder。
小顾开心编程·2022-11-22 08:42

Vision Transformer学习（一）：Embeddings部分

在CV领域transformer的应用也越来越多，比较著名的VIT模型就是其中之一。
qq_42007099·2022-11-22 08:01

Transformer详解

年提出的一种用于机器翻译的模型，完全摒弃了传统循环神经网络的结构，采用了完全基于注意力机制的结构，取得了相当显著的效果，并且从此使得完全注意力机制这种模型设计模型从NLP领域出圈到计算机视觉领域，比如VIT
loki2018·2022-11-22 05:03

Actionformer: Localizing moments of actions with transformers 论文阅读笔记

论文地址：https://arxiv.org/abs/2202.07925随着2020年ViT[6]的出现，基于自注意的Transformer模型在图像分类和目标检测方面取得了瞩目的成果，而近期又在视频理解方面取得了较好的成果
Encounter84·2022-11-22 02:42

【CLIP】Learning Transferable Visual Models From Natural Language Supervision

图像和文本分别通过各自的encoder得到图像特征和文本特征，图像的encoder可以采用resnet或者VIT，文本的e
S L N·2022-11-22 00:22

PyTorch笔记 - Vision Transformer(ViT)

Transformer包含Encoder和Decoder，核心是Multi-HeadSelf-Attention(空间融合)，FeedForwardNerualNetwork(通道融合)。Encoder和Decoder的交互信息：Memory-baseMulti-HeadCross-Attention注入位置信息PositionEmbedding数据量的要求与归纳偏置(InductiveBias)
SpikeKing·2022-11-21 19:32

解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer

机器之心报道来源：机器之心来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉Transformer，即Next-ViT。
人工智能与算法学习·2022-11-21 17:46

pip install einops安装einops时遇到的问题

最近在运行ViT的程序时，需要安装一个einops库，但是尝试了很多方法都没有成功。最后换了一个服务器账号，终于成功了！后来发现可能是pip的版本不同导致的。
Meilinger_·2022-11-21 17:35

CNN卷土重来！超越Transformer！FAIR重新设计纯卷积架构：ConvNeXt

本文是FAIR的ZhuangLiu(DenseNet的作者)与SainingXie(ResNeXt的作者)关于ConvNet的最新探索，以ResNet为出发点，逐步引入近来ViT架构的一些设计理念而得到的纯
Amusi（CVer）·2022-11-21 16:13

ConvNet---20年代的卷积神经网络

宏观设计2.3ResNeXt-ify2.4倒置瓶颈结构（Mobilenetv2）2.5大卷积核2.6微观设计3.Imagenet上的实验评估3.1实验配置3.2结果3.3各向同性的ConvNeXtVS.ViT4
翻译翻译什么叫深度学习·2022-11-21 16:11

CVPR2022 做语义分割不用任何像素标签，UCSD、英伟达在ViT中加入分组模块

关注公众号，发现CV技术之美本文转自机器之心。生成效果的确很惊艳。视觉场景是由有语义意义的像素组构成。在深度学习的概念出现之前，业界就已经使用经典的视觉理解方法对像素分组和识别进行深入研究。自下而上分组的思想是：首先将像素组织成候选组，然后用识别算法模块处理每个分组。这种思路已经成功应用于超像素图像分割、以及目标检测和语义分割的区域构建。除了自下而上的推理，识别过程中自上而下的反馈信号，能够更好地
我爱计算机视觉·2022-11-21 14:34

vit-pytorch

https://www.bilibili.com/video/BV1AL411W7dT?spm_id_from=333.999.0.0
白色蜻蜓蜓·2022-11-21 13:08
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他