ViT——ShuSenWang

刷新ImageNet最高分！谷歌发布最强Transformer

可打印版本附pdf下载链接近日，谷歌大脑团队公布了VisionTransformer（ViT）进阶版ViT-G/14，参数高达20亿的CV模型，经过30亿张图片的训练，刷新了ImageNet上最高准确率记录
SophiaCV·2022-05-09 10:06

Keras实现Vision Transformer VIT模型示例详解

目录什么是VisionTransformer（VIT）VisionTransforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍2、分类部分VisionTransforme的构建代码什么是
·2022-05-07 19:43

DeiT III

DeiTIII：ViT的复仇作者是Meta（原Facebook）、索邦大学的HugoTouvron,MatthieuCord,HervéJégou等人。他们也是DeiT、ResNet的反击的作者。
Valar_Morghulis·2022-05-06 12:45

当Swin Transformer遇上DCN，效果惊人！

一方面，使用密集注意力（例如ViT）会导致过多的内存和计算成本，并且特征可能会受到超出兴趣区域的无关部分的影响；另一方面，PVT或SwinTransformer中采用的稀疏注意力与数据无关，可能会限制对远程
深度学习技术前沿·2022-05-05 07:01

【读点论文】ViTGAN: Training GANs with Vision Transformers 将视觉transformer和gan结合起来

将ViT整合到生成式对抗网络(GANs)中。本文观察到，现有的GANs正则化方法与自注意力的交互作用很差，导致训练过程中严重的不稳定
羞儿·2022-05-04 07:42

CVPR 2022 优质论文分享

AConvNetforthe2020s论文：https://arxiv.org/abs/2201.0354代码：https://github.com/facebookresearch/ConvNeXt2020年以来，ViT
极链AI云·2022-05-04 07:54

[Transformer] MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer

GitHub-apple/ml-cvnets:CVNets:Alibraryfortrainingcomputervisionnetworks1Introduction传统CNN易于优化且可根据特定任务整合不同网络，ViT
Cherry_qy·2022-05-01 11:03

MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer论文翻译理解

为了学习全局特征，ViT被应用到了CV领域，但是比起CNN，ViT更复杂。那么有没有一种可能，将CNN和ViT的优点结合起来，去构建一个轻量级而且低延迟的网络呢。
Katherine121·2022-05-01 11:31

魔改ResNet反超Transformer再掀架构之争！作者说“没一处是创新”，这些优化trick值得学...

先是图像分类上被谷歌ViT突破，后来目标检测和图像分割又被微软SwinTransformer拿下。
QbitAl·2022-04-27 07:18

ViT模型关联的Layer Normalization研读（一）初学者

今天在重新回顾ViT模型的基本结构的时候，发现很多知识盲区，这仅是其中一个。
踏实钻研·2022-04-24 07:25

【论文笔记】Shunted Self-Attention via Multi-Scale Token Aggregation 论文笔记及实验

ShuntedTransformer飞桨权重迁移在线体验传送门ViT模型在设计时有个特点：在相同的层中每个token的感受野相同。这限制了se
嘟嘟太菜了·2022-04-18 11:43

Vite 创建Vue3项目及基础使用

Vite法语意为"快速的"，发音/vit/，下一代前端开发与构建的工具，等于现在的webpack。
似朝朝我心·2022-04-14 16:07

微信图片翻译技术优化之路

文章术语ViT
人工智能与算法学习·2022-04-13 07:22

Multi-modal Multi-task Masked Autoencoder：一种简单、灵活且有效的 ViT 预训练策略

MAE是一种使用自监督预训练策略的ViT，通过遮蔽输入图像中的补丁，然后预测缺失区域进行子监督的与训练。
·2022-04-12 11:03

【强化学习-10】Experience replay：经验回放 (DQN的高级技巧)

Experiencereplay：经验回放-DQN的高级技巧Experiencereplay本笔记整理自(作者:ShusenWang):https://www.bilibili.com/video/BV1rv41167yx
刘兴禄·2022-04-11 07:32

vite + Vue3 + TS

plugin-vue'//如果编辑器提示path模块找不到，则可以安装一下@types/node->npmi@types/node-Dimport{resolve}from'path'//https://vit
·2022-04-09 18:46

【强化学习-16】REINFORCE with baseline

REINFORCEwithbaseline本笔记整理自(作者:ShusenWang):https://www.bilibili.com/video/BV1rv41167yx?
刘兴禄·2022-04-06 07:46

【第31篇】探索普通视觉Transformer Backbones用于物体检测

摘要我们探索了普通的、非分层的视觉转换器（ViT）作为目标检测的骨干网络。这种设计使原始ViT架构能够针对对象检测进行微调，而无需重新设计用于预训练的分层主干。
AI浩·2022-04-05 07:30

最新的一篇视觉Transformer综述！

已授权转载（源：知乎）https://zhuanlan.zhihu.com/p/433048484CVer公众号已汇集三篇视觉Transformer，公众号后台回复：Transformer综述，即可下载三篇ViT
Amusi（CVer）·2022-04-01 07:21

神经网络学习小记录68——Tensorflow2版 Vision Transformer（VIT）模型的复现详解

神经网络学习小记录68——Tensorflow2版VisionTransformer（VIT）模型的复现详解学习前言什么是VisionTransformer（VIT）代码下载VisionTransforme
Bubbliiiing·2022-03-30 07:45

Transformer自监督学习(2021) - SiT: Self-supervised vIsion Transformer

文章目录原文地址初识相知回顾原文地址https://arxiv.org/pdf/2104.03602.pdf【萨里大学】初识采用ViT进行在无标注数据集上进行自监督学习，降低ViT对大数据量训练的依赖，
我是大黄同学呀·2022-03-27 07:24

transformer中QKV的通俗理解(渣男与备胎的故事)

transformer中QKV的通俗理解(渣男与备胎的故事)用vit的时候读了一下transformer的思想,前几天面试结束之后发现对QKV又有点忘记了,写一篇文章来记录一下参考链接:哔哩哔哩:在线激情讲解
Joker-Tong·2022-03-26 07:52

RepLKNet：不是大卷积不好，而是卷积不够大，31x31卷积了解一下 | CVPR 2022

论文提出引入少数超大卷积核层来有效地扩大有效感受域，拉近了CNN网络与ViT网络之间的差距，特别是下游任务中的性能。
·2022-03-24 14:55

Vision Transformer的讲解和代码实现

文章目录1、ViT介绍2、模型详解Embedding层详解TransformerEncoder详解MLPHead详解完整模型（ViT-B/16为例）3、总结1、ViT介绍从深度学习暴发以来，CNN一直是
热血厨师长·2022-03-23 08:00

一文细数73个Vision transformer家族成员

Awesome-Visual-Transformerhttps://github.com/IDEACVR/awesome-detection-transformerImageClassificationUniform-scale*ViT
Tom Hardy·2022-03-23 08:17

Vision Transformer(ViT)

1.前言本文讲解Transformer模型在计算机视觉领域图片分类问题上的应用——VisionTransformer(ViT)。
DeepGeGe·2022-03-23 08:16

是那个Transformer干的，依图科技开源“可大可小”T2T-ViT，轻量版优于MobileNet...

本文在ViT方面进行了一次突破性探索，提出了首次全面超越ResNet，甚至轻量化版本优于MobileNet系列的T2T-ViT。
Amusi（CVer）·2022-03-23 07:05

LV-ViT：训练视觉Transformer的技巧合集

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者丨happy审稿丨邓富城转载自丨极市平台导读本文探索了用于提升ViT性能的各种训练技巧。
Amusi（CVer）·2022-03-23 07:05

各类Transformer都得稍逊一筹，LV-ViT：探索多个用于提升ViT性能的高效Trick

↑点击蓝字关注极市平台作者丨happy审稿丨邓富城编辑丨极市平台极市导读本文探索了用于提升ViT性能的各种训练技巧。
算法码上来·2022-03-23 07:02

一文解读Vision Transformer(ViT)

前言VisionTransformer论文：https://arxiv.org/pdf/2010.11929.pdf跟李沐学AI：https://www.bilibili.com/video/BV15P4y137jb?spm_id_from=333.999.0.0VisionTransformer打破了CNN在计算机视觉领域的统治地位，仅使用一个标准的TransformerEncoder（与NLP
littlepeni·2022-03-23 07:56

RepLKNet：不是大卷积不好，而是卷积不够大，31x31卷积了解一下 | CVPR 2022

论文提出引入少数超大卷积核层来有效地扩大有效感受域，拉近了CNN网络与ViT网络之间的差距，特别是下游任务中的性能。
·2022-03-21 13:15

RepLKNet：不是大卷积不好，而是卷积不够大，31x31卷积了解一下 | CVPR 2022

论文提出引入少数超大卷积核层来有效地扩大有效感受域，拉近了CNN网络与ViT网络之间的差距，特别是下游任务中的性能。
晓飞的算法工程笔记·2022-03-21 13:00

RepLKNet：不是大卷积不好，而是卷积不够大，31x31卷积了解一下 | CVPR 2022

论文提出引入少数超大卷积核层来有效地扩大有效感受域，拉近了CNN网络与ViT网络之间的差距，特别是下游任务中的性能。
VincentTeddy·2022-03-21 00:53

语义分割算法分享之Swin-Transformer

在ViT等基础之上继续演变的Swin刚刚拿到了ICCV2021的bestpaper，经过实际使用体验来看，确实效果较好，从语义分割角度来看，Swin不仅在ADE20K取得了sota的效果，在各个其他场景数据集下都有极为优秀的表现
xuzz_498100208·2022-03-18 05:34

视觉Transformer开山之作：Vision Transformer(ViT)论文解读与复现

paddlepaddle框架）patchembeddingattentionlayerVIT前向部分3.2FINE-TUNINGANDHIGHERRESOLUTION：模型微调与高分辨率图像处理四.实验总结与评价前言VIT
naca yu·2022-03-18 05:48

Vision Transformer原理及代码实战

https://github.com/BR-IDL/PaddleViT在NLP领域，Transformer深度学习技术已经"统治"了该领域；在CV领域，从2020年底开始，VisionTransformer（ViT
一个热爱学习的深度渣渣·2022-03-18 05:13

深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解

深度学习之图像分类（十八）VisionTransformer(ViT)网络详解目录深度学习之图像分类（十八）VisionTransformer(ViT)网络详解1.前言2.ViT模型架构2.1Embedding
木卯_THU·2022-03-18 05:27

最新！CVPR 2021 视觉Transformer论文大盘点（43篇）

Amusi认为引爆CV圈Transformer热潮的有两篇最具代表性论文，即ECCV2020的DETR（目标检测）和ICLR2021的ViT（图像分类）。跟着DETR和ViT两篇论文的时
Amusi（CVer）·2022-03-18 05:24

Vision Transformer的Pytorch源码各模块实现

其实看ViT网络代码主要是学会最基础的transformer模型搭建，是CV从业者必须要走一段路。
@会飞的毛毛虫·2022-03-18 03:34

unorder_map＜int,vector＜int＞＞使用

=v.end();it++){for(vector::iteratorvit=(*it).begin();vit!
Msxiexie·2022-03-14 09:59

vben:vue3后台管理项目框架

也可以作为一个示例，用于学习vue3、vit
浩星·2022-03-14 04:48

（五）比赛中的CV算法（下）目标检测终章：Vision Transformer

这里我们不会从最原始的ViT开始，而是直接介绍FAIR退出的DERT模型和其改进版的可形变注意力版本，因为这是在公开数据集上基于transformer的模型第
HNU跃鹿战队·2022-03-08 10:07

Transformer第三节——ViT

下面聊聊ViT。目录整体结构一，选择怎样的Transformer网络及其变体
Eva_Hua·2022-03-08 07:44

神经网络学习小记录66——Keras版 Vision Transformer（VIT）模型的复现详解

神经网络学习小记录66——Keras版VisionTransformer（VIT）模型的复现详解学习前言什么是VisionTransformer（VIT）代码下载VisionTransforme的实现思路一
Bubbliiiing·2022-03-08 07:11

ViT ——AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(论文阅读笔记)

ViT是Google团队于2021年发表在ICLR上的paper，论文链接：https://arxiv.org/abs/2010.11929摘要虽然Transformer架构已成为自然语言处理任务事实上的标准
酉意铭·2022-03-08 07:39

vit-transformer模型结构及源码解读

vit简介vit模型是transformer在图像分类领域的首次成功尝试；但是其需要基于大量数据去预训练模型；除了训练难度，现有的VisualTransformer参数量和计算量多大，比如ViT需要18BFLOPs
Jumi爱笑笑·2022-03-08 07:07

ViT结构

VisionTransformer图像输入尺寸为[N,C,H,W][N,C,H,W][N,C,H,W]，CCC通常为3，为了构建为TransformerTransformerTransformer需要的输入，将输入图像切分为ph∗pw∗Cp_h*p_w*Cph∗pw∗C尺寸的nnn个小图块，合计切出h∗wh*wh∗w个小图块。#reshapeandflatten[N,C,H,W]=>[N,h*w,
平丘月初·2022-03-08 07:06

2. vit——vision transformer

了解vit之前可以先看论文attentionisallinneed，主要看论文中transformer中的encode和decode部分。在vit中主要应用了transformer的encode部分。
易大飞·2022-03-08 07:35

Transformer主干网络——ViT保姆级解析

从”万恶之源“ViT开始吧。
只会git clone的程序员·2022-03-08 07:33

Vision Transformer——ViT代码解读

官方提供的代码：https://github.com/google-research/vision_transformer大佬复现的版本：https://github.com/lucidrains/vit-pytorch
TEn%·2022-03-08 07:33
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他