Vit

EfficientFormer 提升速度的同时保持性能，使 ViT 在移动端成为可能

出品人：Towhee技术团队顾梦佳由于大量的参数和其模型设计（注意力机制），基于ViT的模型通常比轻量级卷积网络慢几倍。
·2023-02-23 19:59

MAR：针对动作识别的视频掩码建模

视频掩码建模（即VideoMAE）的最新进展表明，普通视觉Transformer(ViT)能够在仅给定有限视觉内容的情况下补充时空上下文。
·2023-02-22 19:58

UFO-ViT: High Performance Linear Vision Transformer without Softmax

paper链接:https://arxiv.org/pdf/2109.14382.pdfUFO-ViT:HighPerformanceLinearVisionTransformerwithoutSoftmax
小小小~·2023-02-17 12:34

SVFormer：走进半监督动作识别的视觉 Transformer

目前相关的方法主要研究了卷积神经网络，较少对于视觉Transformers（ViT）模型的探索。SVFormer研究了如何将半监督ViT用于动作识别。
·2023-02-17 11:22

Vite study

总览Vite（法语意为"快速的"，发音/vit/[图片上传失败...(image-7771a7-1647833168481)]，发音同"veet"）是一种新型前端构建工具，能够显著提升前端开发体验。
henrypt·2023-02-17 04:03

论文笔记：Vision Transformers for Dense Prediction

具体来说，我们使用最近提出的ViT作为主干架构。我们将ViT提供的tokens表示重新组合成不同分辨率的类图像特征表示，并使用卷积解码器逐步将特征表示组合到最终的密集预测中。
BlueagleAI·2023-02-17 00:08

性能大幅优于DeiT、ViT和EfficientNet

【导读】本文主要介绍最新TransFormer成果，目前SwinTransformer在各大CV任务上，实现了SOTA的性能，在目标检测任务上刷到58.7AP（目前第一）！实例分割刷到51.1MaskAP（目前第一）！语义分割在ADE20K上刷到53.5mIoU（目前第一）！下面我们就来看一下这篇文章。作者单位：微软亚洲研究院代码：https://github.com/microsoft/Swin
深度学习技术前沿·2023-02-16 22:17

Swin Transformer代码实战篇

作者简介：秃头小苏，致力于用最通俗的语言描述问题往期回顾：CV攻城狮入门VIT(visiontransformer)之旅——近年超火的Transformer你再不了解就晚了！
秃头小苏·2023-02-16 21:20

西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》

并且随着ViT论文的出现，基于Transformer的计算机视觉模型已经可以媲美CNN方法！2021年以来，Transformer模型在各大数据集上纷纷霸榜！
深度学习技术前沿·2023-02-07 11:55

华为和北大等提出视觉Transformer：全面调研

其中今年非常有代表性就是：DETR、ViT等。本文将介绍的就是华为等联合最新提出的视觉Transformer综述。
Amusi（CVer）·2023-02-07 11:20

使用JAX实现完整的Vision Transformer

本文将展示如何使用JAX/Flax实现VisionTransformer(ViT)，以及如何使用JAX/Flax训练ViT。
·2023-02-06 13:11

浅析Swin transformer模型(通俗易懂版)

arxiv.org/abs/2103.14030官网地址：https://github.com/microsoft/Swin-Transformer2.网络框架2.1swimVSvit从图中可以得到，Swin相较于ViT
卡伊德·2023-02-06 11:42

OpenMMLab 实战营打卡 - 第 3 课

图像分类工具包MMClassification具有丰富的模型，包括卷积神经网络，如VGG；轻量化卷积网络，如MobileNetV2/V3；Transformer模型，如ViT等。
sophia_cong·2023-02-05 10:40

Vision Transformer详解 VIT详解

VisionTransformer详解VIT详解通用深度学习网络效果改进调参训练公司自己的数据集，训练步骤记录：代码实现version-Transformer网络各个流程，以此实现一下模块：1、PathEmbedding
郭庆汝·2023-02-04 12:24

OpenMMLab实战营打卡-第2课

在这期视频里学习到了各种分类网络的由来，也重新回顾了鼎鼎大名的ResNet和后自注意力机制时代的ViT和SwinT网络。了解了当前自监督算法的发展。收获良多！
qq_43624869·2023-02-04 07:22

第二节课笔记

传统图像分类算法基于深度学习的图像分类算法AlexNet-VGG-GoogLeNet精度退化问题-引入残差-ResNet神经结构搜索-NASNet等Transformer-ViT-SwinTransformer
jiumozhi345·2023-02-04 07:43

[vite源码解析] 总览

Vite(法语意为"快速的"，发音/vit/)是一种新型前端构建工具，能够显著提升前端开发>体验。
邱凯翔Edward·2023-02-03 15:40

Vision Transformer

因此，作者提出ViT算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准
何如千泷·2023-02-03 14:46

【量化】PTQ4ViT: Post-Training Quantization Framework for Vision Transformers

github地址：https://github.com/hahnyuan/PTQ4ViT文章创新点：作者的idea来源于对ViT中激活值的分布的观察，以及对不同评估量化误差的指标对比的观察。
Treasureashes·2023-02-03 14:58

量化部署 | ViT应该如何进行PTQ量化？这个方法可以参考！

作者|xxx编辑|汽车人原文链接：xxxxx点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！最近，Transformer在各种计算机视觉应用上取得了显著的性能。与主流卷积神经网络相比，视觉Transformer通常采用复杂的架构来提取强大的特征表示，这在移动设备
自动驾驶之心·2023-02-03 14:27

DETR：Transformer的目标检测（detection）- Demo

前几年该模型在NLP领域有非常好的应用，最近查阅论文时发现Transformer逐渐在CV方向发力，ViT(VisionTransformer)的提出更是添了一把火，今天就来简单了解一下DETR。
Kukulin13013·2023-02-03 12:53

微软提出 TinyMIM，首次用掩码预训练改进小型 ViT

出品人：Towhee技术团队顾梦佳掩码图像建模（MIM）在预训练的大型视觉Transformer（ViTs）中表现强劲，然而实际生产中更实用的小模型却依然受益不显。为此，微软提出TinyMIM探索蒸馏技术，期望将MIM在大型预训练模型上的成功迁移到较小的模型。该方法系统地研究了蒸馏框架中的不同选项，包括蒸馏目标、损失、输入、网络正则化、顺序蒸馏等。TinyMIM显著地改进了模型微调精度，首次成功地
·2023-02-02 18:01

Vit，DeiT，DeepViT，CaiT，CPVT，CVT，CeiT简介

Vit:最基础的，就是将transformer的encoder取出来。
RANKING666·2023-02-02 14:50

关于ViT中pos embed的可视化

在ViT中有一个positionembedding部分，为什么要有这一部分呢？
harry_tea·2023-02-02 14:20

ViT论文阅读

TransformersforImageRecognitionatScale论文地址：https://arxiv.org/abs/2010.11929github：GitHub-lucidrains/vit-pytorch
feikediaoming·2023-02-02 14:19

VIT 如何超越 CNN？

VIT（VisionTransformer）来自于google的一篇文章《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》
maverick0·2023-02-02 13:49

为什么Transformer / ViT 中的Position Encoding能和Feature Embedding直接相加？

前言刚开始学习Transformer/ViT的时候会发现为什么作者会将PositionEncoding直接和FeatureEmbedding相加？
越来越胖的GuanRunwei·2023-02-02 13:49

自监督模型---MoCoV3

相反，考虑到计算机视觉的进展，它研究了一个直接的、增量的、但必须知道的基线：视觉变压器(ViT)的自我监督学习。
木羊子羽·2023-02-02 08:38

ViT (Visual Transformer)

Acknowledge论文名称：AnImageIsWorth16x16Words:TransformersForImageRecognitionAtScale原论文对应源码：https://github.com/google-research/vision_transformerPyTorch实现代码：pytorch_classification/vision_transformerTensorf
Le0v1n·2023-02-01 19:03

Visual Transformer开端——ViT及其代码实现

深度学习知识点总结专栏链接:https://blog.csdn.net/qq_39707285/article/details/124005405此专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略BagofFreebies(BoF)等。从RNN到Attention到Transformer系
Mr.小梅·2023-02-01 19:56

CVPR 2022|从原理和代码详解FAIR的惊艳之作：全新的纯卷积模型ConvNeXt...

https://github.com/jinfagang/yolov7_d2ConvNeXt可以看做是把SwinTransformer包括ViT的所有特殊的设计集于一身之后的卷积网络进化版，升级了ResNet
AI视觉网奇·2023-02-01 18:46

开源 | ViT模型结构分析及自动压缩加速！

作者|吕梦思编辑|极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！
自动驾驶之心·2023-02-01 17:34

pytorch使用tensorboard

这里使用VIT代码作为例子：1：在train.py文件导入SummaryWriter。
翰墨大人·2023-02-01 10:22

ViT-FRCNN：面向基于Transformer的目标检测

与DETR和可变形DETR范式不同，本文将ViT与RPN进行结合，即将CNN主干替换为transformer，组成为：ViT-FRCNN，作者称这可视为迈向复杂视觉任务（例如目标检测）纯transformer
Amusi（CVer）·2023-01-31 15:42

transformer ViT DERT

1transformerAttentionIsAllYouNeedhttps://arxiv.org/abs/1706.03762NLP机器翻译具有全局语义特征提取融合及并行计算的特点。1.1整体模型结构是一个encoder--decoder的结构，最核心的是attention模块。Transformer中有两种注意力机制，self-attention和cross-attention。主要区别是q
bigliu666·2023-01-31 15:42

谷歌多模态大模型PaLI：采用参数量为4B的ViT-e，效果超过BEiT-3

选自arXiv作者：XiChen等视学算法编译编辑：张倩PaLI-17B在多个benchmark上都达到了SOTA。语言和视觉任务的建模中，更大的神经网络模型能获得更好的结果，几乎已经是共识。在语言方面，T5、GPT-3、Megatron-Turing、GLAM、Chinchilla和PaLM等模型显示出了在大文本数据上训练大型transformer的明显优势。视觉方面，CNN、视觉transfo
视学算法·2023-01-31 10:41

8种视觉Transformer整理（上）

一、ViT原文链接：https://arxiv.org/pdf/2010.11929.pdf首先将图像分割成长宽均为的patch（共个），然后将每个patchreshape成一个向量，得到所谓的flattenedpatch
byzy·2023-01-30 22:17

【论文笔记】 VIT论文笔记，重构Patch Embedding和Attention部分

0前言相关链接：VIT论文：https://arxiv.org/abs/2010.11929VIT视频讲解：https://www.bilibili.com/video/BV15P4y137jb/?
淮gg·2023-01-30 22:47

ViT Patch Embedding理解

ViT(VisionTransformer)中的PatchEmbedding用于将原始的2维图像转换成一系列的1维patchembeddings。
YoJayC·2023-01-30 22:10

Vision Transformer模型学习笔记

Self-AttentionMulti-HeadAttentionSelf-Attention与Multi-HeadAttention计算量对比MLP模块MLPhead完整的模型框图代码链接模型构成根据原论文，ViT
Ethan.bin·2023-01-30 22:39

VisionTransformer（一）—— Embedding Patched与Word embedding及其实现

EmbeddingPatched与Wordembedding及其实现前言零、VIT是什么？
lzzzzzzm·2023-01-30 22:38

SimMIM：更简单的掩码图像建模

将简化后的MIM应用到ViT-B，其预训练模型在公开的图像数据集ImageNet-1K上能够实现83.8%的top-1微调精度，成功超越之前最优模型
·2023-01-30 19:33

WDK_学习笔记_区块链+ViT和Swin transformer

文章目录摘要一、項目：Hyperledger-fabric技术的深入学习1.1安装-2.2.0（只记录问题，其余按文档操作即可）二、深度学习：VersionTransformer(ViT)和SwinTransformer2.1ViT2.1
原来如此-·2023-01-30 07:04

ViT模型——pytorch实现

ViT模型的结构：①Embedding：包括PatchEmbedding、PositionEmbedding和ClassEmbedding；PatchEmbedd
CV_Peach·2023-01-29 08:10

Swin Transformer模型——pytorch实现

论文传送门：SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows前置文章：ViT模型——pytorch实现SwinTransformer
CV_Peach·2023-01-29 08:08

Visual Transformer (ViT) 代码实现 PyTorch版本

简介本文的目的是通过实际代码编写来实现ViT模型，进一步加对ViT模型的理解，如果还不知道ViT模型的话，可以先看下博客了解一下ViT的整体结构。
HaloZhang·2023-01-28 18:04

矩阵变换神奇-einops

einops相较于上面说的那些函数，最显著的区别就是逻辑更加的清晰，用网上的一句话来说的话，就是可以避免view、transpose等函数的神秘主义‍♂️第一次看见别人用einops这个库是在看ViT代码的时候
just do it now·2023-01-28 18:05

第6周学习：Vision Transformer & Swin Transformer

目录1VisionTransformer1.1ViT模型架构1.2Embedding层1.3TransformerEncoder层1.4MLPHead层1.5ViTB/161.6ViT模型参数1.7Hybrid
苍茆之昴·2023-01-28 14:44

计算机视觉论文速递（十）ViT-LSLA：超越Swin的Light Self-Limited-Attention

Transformer在广泛的视觉任务中表现出了竞争性的表现，而全局自注意力的计算成本非常高。许多方法将注意力范围限制在局部窗口内，以降低计算复杂性。然而，他们的方法无法节省参数的数量；同时，自注意力和内部位置偏差（在softmax函数内部）导致每个query都集中在相似和接近的patch上。因此，本文提出了一种LightSelf-Limited-Attention（LSLA），它包括轻Light
AiCharm·2023-01-28 10:43

CRF 条件随机场

与HMM的比较HMM和CRF区别3.Tensorflow实现tf.contrib.crf（1）tf.contrib.crf.crf_log_likelihood()（2）tf.contrib.crf.vit
满腹的小不甘_静静·2023-01-28 09:20
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他