ViT

ViLT:基于transformer模型的计算机视觉与自然语言处理多模态模型

transformer模型刚开始使用在NLP自然语言处理的机器翻译实例上，但是随着注意力机制的算法越来越火，根据transformer模型的魔改模型也越来越多，首先便是Google自己发布的VIT模型，
人工智能研究所·2023-08-08 03:12

【Paper Reading】ViT：An Image is worth 16X16 Words：Transformers for Image Recognition at Scale

背景Transformer已经在NLP领域取得了许多的进展，并且拥有较好的可解释性，本文的主要工作是将Transformer迁移到图片分类的任务中。作者在大规模数据集上取得了较好的效果，在中等规模的数据集上取得比CNN差一点的结果。作者了也做了分析，原有的CNN很适合处理图像，主要有两个优势：局部性：空间上相近的相似点，他们的特征也是相似的。空间不变性（平移不变性）：CNNkernel在计算的过程
UpCoderXH·2023-08-06 09:20

Cesium引入vite + vue3

from'vite'importvuefrom'@vitejs/plugin-vue'importWindiCSSfrom'vite-plugin-windicss'importcesiumfrom'vit
时光浅止·2023-08-06 06:03

vite+vue3+ts+pinia+element-plus搭建项目（三）

css代码element-plus按需引入yarnaddunplugin-vue-components--save-dev//vite.config.tsimport{defineConfig}from'vit
前端_小白·2023-08-05 13:40

深度学习论文: RepViT: Revisiting Mobile CNN From ViT Perspective及其PyTorch实现

深度学习论文:RepViT:RevisitingMobileCNNFromViTPerspective及其PyTorch实现RepViT:RevisitingMobileCNNFromViTPerspectivePDF:https://arxiv.org/pdf/2307.09283.pdfPyTorch代码:https://github.com/shanglianlm0525/CvPytorch
mingo_敏·2023-08-04 19:11

在宇道管理系统中vue3+element plus中富文本的配置和调用方法

import.meta.env.VITE_BASE_URL+'/admin-api/infra/file/common/upload'//上传永久素材的地址//constUPLOAD_URL=import.meta.env.VIT
隐含·2023-08-03 17:37

【多模态】23、RO-ViT | 基于 Transformer 的开发词汇目标检测（CVPR2023）

文章目录一、背景二、方法2.1基础内容2.2Region-awareImage-textPretraining2.3Open-vocabularyDetectorFinetuning三、效果3.1细节3.2开放词汇目标检测效果3.3Image-textretrieval3.4Transferobjectdetection3.5消融实验论文：Region-AwarePretrainingforOpe
呆呆的猫·2023-08-01 12:04

模型特征蒸馏:Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

FeatureWhitening中使用不带参数的LayerNorm:nn.LayerNorm(embed_dim,elementwise_affine=False)在Projector中使用1x1卷积进行特征对齐：VIT
xinfeng2005·2023-07-30 23:46

【深度学习】2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？...

1.Transformer自从去年DETR和ViT出来之后，计算机视觉领域掀起了Transformer狂潮。目前可以做的主要有两个路径，一个是魔改DETR和ViT，另一个是不同task迁移算法。
风度78·2023-07-30 22:09

TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE—Vision Transformer（ViT）论文详解

TRANSFORMERSFORIMAGERECOGNITIONATSCALE（一张图像值16x16个单词：用于大规模图像识别的Transformer）研究背景问题引入论文分析网络模型1、VISIONTRANSFORMER(VIT
JJxiao24·2023-07-30 07:20

Vision Transformer （ViT）：图像分块、图像块嵌入、类别标记、QKV矩阵与自注意力机制的解析

作者：CSDN@_养乐多_本文将介绍VisionTransformers（ViT）中的关键点。
_养乐多_·2023-07-30 07:19

【DASOU视频记录】VIT (Vision Transformer) 模型论文+代码(源码)从零详细解读，看不懂来打我

文章目录来源ViT和Transformer的关系朴素思路问题ViT思路patch整体流程CLS位置编码编码器例子代码来源b站视频ViT和Transformer的关系VisionTransformer（简称
爱学习的书文·2023-07-29 11:37

多模态预训练 + 自监督学习 + 下游任务介绍

特征抽取：文本：倾向于bert等大模型图像：神经网络，VIT等2）特征融合要解决的问题是怎么让文字和图像的表征交互?
Scabbards_·2023-07-29 02:12

Vision Transformer (ViT)

生成式模型与判别式模型生成式模型，又称概率模型，是指通过学习数据的分布来建立模型P(y|x)，然后利用该模型来生成新的数据。生成式模型的典型代表是朴素贝叶斯模型，该模型通过学习数据的分布来建立概率模型，然后利用该模型来生成新的数据。判别式模型，又称非概率模型，是指通过学习输入和输出之间的映射关系来建立模型y=f(x)，然后利用该模型来预测新的输出。判别式模型的典型代表是支持向量机模型，该模型通过学
-小透明-·2023-07-29 01:49

NLP杂记

来京一周余，初病将愈，终跑通llama及ViT，记于此——之前都是做的图像，大模型迁移基本上都是NLP相关的知识，很多东西和CV差距还是有点，再加上大模型对算力要求较高，基于云的操作对我一个习惯在本地操作的拖拽工程师还是有一点不适应
Zain Lau·2023-07-29 00:26

ViT-vision transformer

ViT-visiontransformer介绍Transformer最早是在NLP领域提出的，受此启发，Google将其用于图像，并对分类流程作尽量少的修改。
路过的风666·2023-07-28 19:11

MLP-Mixer:面向视觉的全mlp架构

最近，基于注意力的网络，如VIT，也变得流行起来。在本文中，我们证明了虽然卷积和注意力对于良好的性能都是足够的，但它们都不是必需的。我们提出了MLP-Mixe
小杨小杨1·2023-07-28 11:11

nodejs: npm run xxx原理

（注意：机器上并没有全局安装vit
jackletter·2023-07-28 04:46

华为开源自研AI框架昇思MindSpore应用案例：Vision Transformer图像分类

ModelArts官网2.使用CodeLab体验Notebook实例二、环境准备与数据读取三、模型解析Transformer基本原理Attention模块TransformerEncoderViT模型的输入整体构建ViT
Yeats_Liao·2023-07-28 02:07

An image is worth 16 x 16 words: transformers for image recognition at a scale

ViT的网络结构其实很简单，就是一个普通的transformer结构，只不过把图像分成了16x16个patch，加上位置编码作为序列化数据输入transformer中。
nowherespyfly·2023-07-28 00:35

vite的介绍

Vite（法语意为"快速的"，发音/vit/，发音同"veet")是一种新型前端构建工具优势极速的服务启动，使用原生ESM文件，无需打包⚡️轻量快速的热重载，始终极快的模块热重载（HMR）️丰富的功能，
不想努力的迪迪·2023-07-27 10:11

论文笔记|CVPR2023:Supervised Masked Knowledge Distillation for Few-Shot Transformers

CVPR2023论文地址：https://arxiv.org/pdf/2303.15466.pdf代码链接：https://github.com/HL-hanlin/SMKD1Motivation1.ViT
李问号·2023-07-27 07:50

【Vit】社区开放麦#38 目标检测新范式！DETR 系列算法解读 - 知识点目录

社区开放麦#38目标检测新范式！DETR系列算法解读1.IntrotoDETRDETR论文解读DETR系列算法在MMDet-v2.0实现时的缺陷2.DETR(ECCV2022)3.ConditionalDETR(ICCV2021)4.DAB-DETR(ICLR2022)5.DeformableDETR(ICLR2021)6.DINO(ICLR2023)
songyuc·2023-07-27 03:54

【NLP】视觉变压器与卷积神经网络

然而，当在更大的数据集上进行训练时，视觉转换器（ViT）取得了出色的结果，并在多个图像识别基准上接近或超过了最先进
无水先生·2023-07-24 23:13

RepViT:从ViT的角度重新审视mobile CNN

文章目录RepViT:RevisitingMobileCNNFromViTPerspective摘要本文方法代码实验结果RepViT:RevisitingMobileCNNFromViTPerspective摘要近年来，与轻量级卷积神经网络(cnn)相比，轻量级视觉变压器(ViTs)在资源受限的移动设备上表现出了更高的性能和更低的延迟。这种改进通常归功于多头自注意模块，它使模型能够学习全局表示。然
小杨小杨1·2023-07-24 17:48

vite+react简单搭建

无法选择时，使用cmd执行）安装完成之后运行：cdvite-projectnpminstallnpmrundevimage.png可以配置.env的开发环境、测试环境、生产环境image.png配置路径别名vit
坚持不了·2023-07-24 10:41

【计算机视觉】DINOv2（视觉大模型）代码四个不同模型的对比，以 28 * 28 的图像为例（完整的源代码）

文章目录一、ViT-S/14二、ViT-B/14三、ViT-L/14四、ViT-g/14一、ViT-S/14importtorchimporttorchvision.transformsasTimportmatplotlib.pyplotaspltimportnumpyasnpimportmatplotlib.imageasmpimgfromPILimportImagefromsklearn.de
旅途中的宽~·2023-07-21 00:10

【计算机视觉】DINOv2（视觉大模型）代码使用和测试（完整的源代码）

文章目录一、环境部署二、导入原图2.1使用vit_s14的模型三、使用其他模型3.1使用vit_b14的模型3.2使用vit_l14的模型3.3使用vit_g14的模型一、环境部署!
旅途中的宽~·2023-07-21 00:08

vue3+ts+案例

151&vd_source=d824e6f1c7311e50c5b96a40803b1243day010705-Vue3vite构建工具了解：vite工具作用和特点vite（法语意为“快速的”，发音/vit
binzhenliziyuan·2023-07-20 11:58

timm库（CV利器）的入门教程（1）

省流：使用timm加载CNN进行图像分类，调整CNN使之更适合你的任务问：使用timm搭建一个可以使用的CNN或ViT拢共需要几步？
白菜c·2023-07-20 08:34

如果有一天，你容不下自己的父母了，建议你看看这篇文章

from=844b&vit=fps#iact=wiseindex%2Ftabs%2Fnews%2Factivity%2Fnewsdetail%3D%257B%2522linkData%2522%253A
当下繁花盛开·2023-07-18 21:58

阅读笔记-TransReID Transformer-based Object Re-Identification

来源：阿里巴巴和浙大时间：arXiv:2102.04378v1title这篇文章在ViT的基础上提出了一种仅利用Transformer结构实现的ReID方法，并获得了较好的实验性能。
熙熙江湖·2023-07-18 20:18

吴恩达的2022年终盘点：视觉Transformer、生成式AI、大模型闪耀全年！

在过去的一年，生成式AI迎来爆发式增长，由人工智能生成的图片在社交平台疯狂传播，引发大量争议的同时也推动了投资；视觉Transformer(ViT)的工作也出现爆炸性增长，在过去一年中，研究人员共计发表超过
Amusi（CVer）·2023-07-18 17:26

图解Vit 3：Vision Transformer——ViT模型全流程拆解

文章目录LayerNormalizationClassificationTokenPositionembeedding先把上一篇中的遗留问题解释清楚：上图中，代码中的all_head_dim就是有多少head。把他们拼接起来。Encoder在Multi-HeadSelf-Attention之后，维度一直是BND`，一直没有变。LayerNormalization不论是BN(BatchNormali
大叔爱学习.·2023-07-18 12:00

图解Vit 2：Vision Transformer——视觉问题中的注意力机制

文章目录PatchEmbedding回顾Seq2Seq中的attentionTransformer中的attentionPatchEmbedding回顾上节回顾Seq2Seq中的attention在Transformer之前的RNN，其实已经用到了注意力机制。Seq2Seq。对于OriginalRNN，每个RNN的输入，都是对应一个输出。对于originalRNN，他的输入和输出必须是一样的。在处
大叔爱学习.·2023-07-17 17:57

swin-transformer

面向视觉任务的transfomerVisionTransformer(ViT)在视觉任务中的局限性需求数据量巨大CNN中是图像整体输入，并且经过多年的演变，发展出了多个不同的优化策略。
-小透明-·2023-07-17 10:29

学习记录——Transformer、ViT、Swin-Transformer、SegFormer、TopFormer、Seaformer

Transformer2017ComputationandLanguageGoogleSelf-Attention、Multi-HeadAttention位置编码原理参考链接ransformer网络结构：ViT2020ICLR
Chaoy6565·2023-07-16 14:15

图像分类论文阅读

该论文通过结合VGG-19和VIT模型，实现乳腺超声图像的分类BreastUltrasoundImagesDataset|KagglePyTorchVGG19复现代码#VGG19.pyimporttorchimporttorch.nnasnnclassConv
一壶浊酒..·2023-07-15 23:54

cesium学习之旅1：cesium 基本介绍以及 cesium 的 hello world 程序

二：Cesium基本使用我这里使用的是vite+vue3的项目，下面是从0开始搭建项目的的步骤：1.使用vit
凹凸曼打不赢小怪兽·2023-07-15 23:03

Vision Transformer推理中线性-角度注意转换压缩自注意

文章目录Castling-ViT:CompressingSelf-AttentionviaSwitchingTowardsLinear-AngularAttentionatVisionTransformerInference
小杨小杨1·2023-07-14 19:07

【计算机视觉】MobileSAM论文解读：比SAM小60倍，比FastSAM快4倍，速度和效果双赢

文章目录一、导读二、摘要三、Introduction三、Relatedwork3.1SAM：泛化和通用功能性3.2ViT：轻巧高效四、Mobile-FriendlySAM4.1BackgroundandProjectGoal4.1.1BackgroundonSAM4.1.2Projectgoal4.2ProposedMethod4.2.1
旅途中的宽~·2023-07-14 16:33

Vit 实战营 Class2：图像与Transformer基础

文章目录数组图像：图像与像素图像分类：机器如何学习？NMT：NeuronMachineTranslationTransformerVisionTransformer代码实战数组图像：图像与像素什么是数字图像？在计算机图像的图像格式。每一个点叫pixel。type是uint8。左边比右边清楚。105可以用8位的二进制表示。24位的话，可以表示1600万个不同的颜色。HDR和杜比视界，用10位二进制表
大叔爱学习.·2023-07-14 11:50

Vision Transformer（VIT）论文解读及实现

1论文解读paper：VIT1.1VIT模型架构如下图所示：图片原始输入维度H*W*C在H和W按像素P切分，则H、W可分割为NPP,N=HW/(PP)，N为输入transform序列的长度。
晚点吧·2023-07-14 00:01

Vision Transformer (ViT)介绍

通过在大数据集上预训练，然后迁移到中等规模和小规模数据集上，ViT可以取得和SOTA的卷积网络同样出色（甚至更好）的结果，同时需要更少的训练资源。介绍1、将标准transforme
qiumokucao·2023-07-14 00:29

colab 上在页面右侧查看文件内容

```pythonfromgoogle.colabimportfilesfiles.view('vision_transformer/vit_jax/checkpoint.py')files.view(
·2023-06-24 05:31

【原理+源码详细解读】从Transformer到ViT

：https://arxiv.org/abs/2010.11929（发布于ICLR2021）AttentionIsAllYouNeed：https://arxiv.org/abs/1706.03762ViT
HarmoniaLeo·2023-06-23 22:36

论文解读：DETRs Beat YOLOs on Real-time Object Detection

PaddleDetection/tree/develop/configs/rtdetr【官方】或https://github.com/ultralytics/ultralytics/tree/main/ultralytics/vit
万里鹏程转瞬至·2023-06-22 14:22

Transformer Vit Bert 的定义，区别和联系

Transformer、Vit和Bert都是自然语言处理（NLP）领域中非常重要的模型。下面我将详细讨论它们的定义、区别和联系。
图 (TU商兴)·2023-06-22 10:24

AI绘画能力的起源：从VAE、扩散模型DDPM、DETR到ViT/MAE/Swin transformer

前言2018年我写过一篇博客，叫：《一文读懂目标检测：R-CNN、FastR-CNN、FasterR-CNN、YOLO、SSD》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如2014R-CNN2015FastR-CNN、FasterR-CNN2016YOLO、SSD2017MaskR-CNN、YOLOv22018YOLOv3随着2019CenterNet的发布，特别是2020发布的D
v_JULY_v·2023-06-22 08:26

用长尾数据提升ViT性能

文章目录一、导读二、介绍三、方法四、总结一、导读论文地址：https://arxiv.org/abs/2212.02015代码链接：https://github.com/XuZhengzhuo/LiVT二、介绍在机器学习领域中，学习不平衡的标注数据一直是一个常见而具有挑战性的任务。近年来，视觉Transformer作为一种强大的模型，在多个视觉任务上展现出令人满意的效果。然而，视觉Transfor
旅途中的宽~·2023-06-22 00:36
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他