transformer论文阅读第82页

Transformer-2. 注意力分数

上一节记录了注意力机制的基础，这一节主要做几个实现，沐神说qkv在不同任务中的角色不一，所以后续内容才会搞懂qkv是啥玩意。上节使用了高斯核来对查询和键之间的关系建模。高斯核指数部分可以视为注意力评分函数（attentionscoringfunction），简称评分函数（scoringfunction），然后把这个函数的输出结果输入到softmax函数中进行运算。通过上述步骤，将得到与键对应的值的

cartes1us·2023-09-12 01:51

LLFormer 论文阅读笔记

Ultra-High-DefinitionLow-LightImageEnhancement:ABenchmarkandTransformer-BasedMethod这是南京大学在AAAI2023发表的一篇

ssf-yasuo·2023-09-12 01:10

COMO-ViT论文阅读笔记

Low-LightImageEnhancementwithIllumination-AwareGammaCorrectionandCompleteImageModellingNetwork这是一篇美团、旷视、深先院、华为诺亚方舟实验室、中国电子科技大学五个单位合作的ICCV2023的暗图增强论文，不过没有开源代码。文章的贡献点一个是提出了GlobalGammaCorrectionModule和Lo

ssf-yasuo·2023-09-12 01:40

自动驾驶入门日记-15-2018CVPR自动驾驶论文阅读

我爱大头老婆·2023-09-12 00:54

2021-2023顶会190+篇ViT高分论文总结（通用ViT、高效ViT、训练transformer、卷积transformer等）

今天分享近三年（2021-2023）各大顶会中的视觉Transformer论文，有190+篇，涵盖通用ViT、高效ViT、训练transformer、卷积transformer等细分领域。

深度之眼·2023-09-11 20:29

LXMERT：视觉语言跨模态框架

LXMERT是由纽约大学和微软研究院的研究人员联合开发的，它是建立在BERT（BidirectionalEncoderRepresentationsfromTransformers）和视觉注意力机制的基础上的

丰。。·2023-09-11 20:56

Vision Transformer代码

VIT总体架构TransformerEncoderMLPblock代码#%%importtorchfromtorchimportnnfromeinopsimportrearrange,repeatfromeinops.layers.torchimportRearrange

computer_vision_chen·2023-09-11 17:18

自注意力机制（转载）

：https://zhuanlan.zhihu.com/p/364819787、https://zhuanlan.zhihu.com/p/365550383今早看见了一篇讲解自注意力机制的，自注意力在Transformer

Wang Xianchun·2023-09-11 15:12

谁将取代 transformer；PPT 开发者去世；ChatGPT 访问量连续三个月下降丨 RTE开发者日报 Vol.46

开发者朋友们大家好：这里是「RTE开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE（RealTimeEngagement）领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。本期编辑：@Asui，@CY，@OKJK一、有话题的新闻1、ChatGPT的访问量连续第三个月下降

·2023-09-11 15:33

DPText-DETR: 基于动态点query的场景文本检测，更高更快更鲁棒 | 京东探索研究院

针对场景文本检测任务，近期基于DEtectionTRansformer(DETR)框架预测控制点的研究工作较为活跃。

京东云技术团队·2023-09-11 14:09

【transformer】动手学ViT

ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE摘要Method实验代码-基于pytorchTrainingVisualTransformeronDogsvsCatsData

ca1m4n·2023-09-11 13:25

autoware.ai感知随笔--地面滤波

autwoware.ai中点云预处理–points_preprocessorpoints_preprocessorcloud_transformer:点云坐标转换,将输入的点云转化为velodyne坐标系下的点云

lsyhaoshuai·2023-09-11 12:14

CNN+Transformer

CNN+Transformer的模型可参考ViT模型，注意，此模型是基于大量数据集基础上才达到SOTA的（15M-300M时才能体现出模型的优势），数据量较少时效果不佳。

魔法橘子·2023-09-11 12:45

DPText-DETR: 基于动态点query的场景文本检测，更高更快更鲁棒 | 京东探索研究院

针对场景文本检测任务，近期基于DEtectionTRansformer(DETR)框架预测控制点的研究工作较为活跃。

·2023-09-11 10:45

DPText-DETR: 基于动态点query的场景文本检测，更高更快更鲁棒 | 京东探索研究院

针对场景文本检测任务，近期基于DEtectionTRansformer(DETR)框架预测控制点的研究工作较为活跃。

·2023-09-11 10:40

NLP（4）--BERT

目录一、自监督学习二、BERT的两个问题三、GLUE四、BERT与Transformer的关系五、BERT的训练方式六、BERT的四个例子1、语句分类（情感分析）2、词性标注3、立场分析4、问答系统七、

Struart_R·2023-09-11 09:13

使用 Hugging Face Transformer 创建 BERT 嵌入

它改进了原始Transformer模型中理解文本的部分。创建BERT嵌入尤其擅长抓取具有复杂含义的句子。它通过检查整个句子并理解单词如何连接来做到这一点。

TD程序员·2023-09-11 07:27

LEARNING TO GROW PRETRAINED MODELS FOR EFFICIENT TRANSFORMER TRAINING

开始于2023年7月29号摘要通过学习增长预训练（growpretrained）的transformers来加速transformer的训练过程，通过学习通过线性映射用较小的模型参数初始化较大的模型。

诗子黎·2023-09-11 06:51

AI系统论文阅读：SmartMoE

提出稀疏架构是为了打破具有密集架构的DNN模型中模型大小和计算成本之间的连贯关系的——最著名的MoE。MoE模型将传统训练模型中的layer换成了多个expertsub-networks，对每个输入，都有一层specialgatingnetwork来将其分配到最适合它的expert中，然后被expert处理。于此对应，很多expert会不得不处理多个输入，但另一些则几乎不处理输入——data-se

诗子黎·2023-09-11 06:20

微调 TrOCR – 训练 TrOCR 识别弯曲文本

TrOCR（基于Transformer的光学字符识别）模型是性能最佳的OCR模型之一。在我们之前的文章中，我们分析了它们在单行打印和手写文本上的表现。

TD程序员·2023-09-11 06:44

【论文+代码】1706.Transformer简易学习笔记

Transformer论文:1706.attentionisallyouneed!

曾小蛙·2023-09-11 05:29

[预训练语言模型专题] RoBERTa: 捍卫BERT的尊严

快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer

yang191919·2023-09-11 03:39

大模型的好伙伴，浅析推理加速引擎FasterTransformer

来自：吃果冻不吐果冻皮进NLP群—>加入NLP交流群最近几个月，随着ChatGPT的现象级表现，大模型如雨后春笋般涌现。而模型推理是抽象的算法模型触达具体的实际业务的最后一公里。但是在这个环节中，仍然还有很多已经是大家共识的痛点和诉求，比如：任何线上产品的用户体验都与服务的响应时长成反比，复杂的模型如何极致地压缩请求时延？模型推理通常是资源常驻型服务，如何通过提升服务单机性能从而增加QPS，同时大

zenRRan·2023-09-11 03:38

Huggingface简介及BERT代码浅析

本期的内容是结合Huggingface的Transformers代码，来进一步了解下BERT的pytorch实现，欢迎大家留言讨论交流。Hugg

愚昧之山绝望之谷开悟之坡·2023-09-11 03:38

《自然语言处理(NLP)的最新进展：Transformers与GPT-4的浅析》

文章目录《自然语言处理(NLP)的最新进展：Transformer

猫头虎·2023-09-11 03:07

VL系列 Exchanging-based Multimodal Fusion with Transformer 论文阅读笔记

多模态融合Exchanging-basedMultimodalFusionwithTransformer论文阅读笔记一、Abstract二、引言三、相关工作3.1深度多模态融合四、方法4.1低维投影和embedding

乄洛尘·2023-09-10 21:45

Transformer貌似也是可以使用state递归解码和训练的

importpaddleimportnumpyasnpclassHeadLoss(paddle.nn.Layer):def__init__(self):super(HeadLoss,self).__init__()

东方佑·2023-09-10 21:32

【NLP】第 3 章：BERT

在本章中，您将学习由Google开发的Transformer架构的实现之一，称为BERT。

Sonhhxg_柒·2023-09-10 21:59

LGFormer：LOCAL TO GLOBAL TRANSFORMER FOR VIDEO BASED 3D HUMAN POSE ESTIMATION

基于视频的三维人体姿态估计的局部到全局Transformer作者：马海峰*，陆克*†，薛健*，牛泽海*，高鹏程†*中国科学院大学工程学院，北京100049鹏程实验室，深圳518055来源：2022IEEEInternationalConferenceonMultimediaandExpo

玲娜贝儿--努力学习买大鸡腿版·2023-09-10 21:23

End-to-end 3D Human Pose Estimation with Transformer

基于Transformer的端到端三维人体姿态估计摘要基于Transformer的架构已经成为自然语言处理中的常见选择，并且现在正在计算机视觉任务中实现SOTA性能，例如图像分类，对象检测。

玲娜贝儿--努力学习买大鸡腿版·2023-09-10 21:51

新技术前沿-2023-基于Hugging Face体验微软NewBing必应GPT4.0

go-proxy-bing的GitHub官网1HuggingFace简介Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers

皮皮冰燃·2023-09-10 20:12

对Transformer中的Attention(注意力机制)的一点点探索

摘要：本文试图对Transformer中的Attention机制进行一点点探索。并就6个问题深入展开。

一支王同学·2023-09-10 18:39

论文阅读“Self-supervised Graph Convolutional Network for Multi-view Clustering”

XiaW,WangQ,GaoQ,etal.Self-supervisedGraphConvolutionalNetworkforMulti-viewClustering[J].IEEETransactionsonMultimedia,2021.摘要翻译现有的基于图卷积网络(GCN)的多视图学习方法，尽管有初步的有希望的结果，但由于直接使用图结构作为视图描述符，可能会抑制多媒体数据的多视图学习能力。

掉了西红柿皮_Kee·2023-09-10 16:20

论文阅读“Text Level Graph Neural Network for Text Classification”

HuangL,MaD,LiS,etal.TextLevelGraphNeuralNetworkforTextClassification[C]//Proceedingsofthe2019ConferenceonEmpiricalMethodsinNaturalLanguageProcessingandthe9thInternationalJointConferenceonNaturalLangua

掉了西红柿皮_Kee·2023-09-10 16:36

【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

PyramidVisionTransformer:AVersatileBackboneforDensePredictionwithoutConvolutions论文：https://arxiv.org/

m0_61899108·2023-09-10 13:13

【ECCV2022】Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation

Swin-Unet:Unet-likePureTransformerforMedicalImageSegmentation论文：https://arxiv.org/abs/2105.05537代码：https

m0_61899108·2023-09-10 13:13

【ICCV2023】Robustifying Token Attention for Vision Transformers

RobustifyingTokenAttentionforVisionTransformers论文：https://arxiv.org/abs/2303.11126代码：暂未开源解读：ICCV2023|

m0_61899108·2023-09-10 13:13

论文笔记-Masked Autoencoders Are Scalable Vision Learners

lucidrains/vit-pytorch#masked-autoencoder一句话简介：随机mask掉高比例imagepatch，输入一个非对称的autoencoder，encoder是ViT，decoder是Transformer

升不上三段的大鱼·2023-09-10 13:22

医学图像分割新方法：超越自注意力: 用于医学图像分割的可变形大核注意力

前言本文提出可变形大核注意力(D-LKANet)，即采用大卷积核来充分理解体素上下文的简化注意力机制，在学分割数据集(Synapse、NIH胰腺和皮肤病变)上证明了其卓越的性能医学图像分割通过Transformer

xuxu1116·2023-09-10 10:05

ChatGPT3 Transformer 的多模态全能语言模型

"Transformer的多模态全能语言模型"指的是一种融合了多种输入模态（如文本、图像、声音等）的语言模型，具有广泛的应用能力，可以理解和生成多种类型的信息。"

summer_west_fish·2023-09-10 09:34

AIGC之文本内容生成概述（下）—— GPT

GPT（GenerativePre-TrainedTransformer）提到GPT模型，就不得不说众所周知的ChatGPT模型，ChatGPT的发展可以追溯到2018年，当时OpenAI发布了第一代GPT

深度人工智能·2023-09-10 08:21

1.论文结构

论文阅读步骤泛读标题摘要结论小标题和图表自测论文解决什么问题论文采用了什么方法论文达到了什么效果精读选出精华，仔细阅读，找出问题中关键内容总览全文，归纳总结，论文中创新点，关键点，启发点1.论文提出/采用什么方法

mi_chu·2023-09-10 08:54

Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation文献复现

小夭。·2023-09-10 08:42

深度学习 | 关于transformer你必须知道的20个知识点

1.Transformer是什么模型?Transformer是Google于2017年提出的一种基于注意力机制的神经网络结构,最初用于机器翻译任务。2.Transformer相比于LSTM有什么优势?

往日无痕·2023-09-10 07:22

IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition 论文阅读

论文地址：https://arxiv.org/abs/2207.12100摘要人机交互识别在许多应用中都非常重要。识别交互的一个关键线索是交互的身体部位。在这项工作中，我们提出了一种新颖的交互图变换器（IGFormer）网络，通过将交互身体部位建模为图形来进行基于骨架的交互识别。更具体地说，所提出的IGFormer根据交互身体部位之间的语义和距离相关性构建交互图，并通过基于学习图聚合交互身体部位的

魔法少女玛格姬·2023-09-10 07:21

关于GPT的20个知识，你都知道吗？

GPT全称是GenerativePre-trainedTransformer。2.GPT是由谁研发的?GPT是由OpenAI的研究人员研发的。3.GPT的目的是什么?

往日无痕·2023-09-10 07:21

TrOCR – 基于 Transformer 的 OCR 入门指南

如今，我们拥有像TrOCR（TransformerOCR）这样的模型，它在准确性方面真正超越了以前的技术。在本文中，我们将介绍TrOCR并重点关注四个主题：TrOCR

TD程序员·2023-09-10 06:29

如何把 Gradio 应用上传到 Hugging Face

把Gradio应用上传到HuggingFace概述HuggingFace提供了一个平台,可以让研究人员和开发者上传他们基于Transformer的模型和demo。

friklogff·2023-09-10 06:48

SG-Former：具有进化Token重新分配的自引导Transformer

静静AI学堂·2023-09-10 01:05

如何在SAM时代下打造高效的高性能计算大模型训练平台

关键词：SAM；PCB；SA-1B；Prompt；CV；NLP；PLM；BERT；ZSL；task；zero-shot；data；H100、H800、A100、A800、LLaMA、Transformer

·2023-09-10 01:45

推荐频道

transformer论文阅读

Transformer-2. 注意力分数

LLFormer 论文阅读笔记

COMO-ViT论文阅读笔记

自动驾驶入门日记-15-2018CVPR自动驾驶论文阅读

2021-2023顶会190+篇ViT高分论文总结（通用ViT、高效ViT、训练transformer、卷积transformer等）

LXMERT：视觉语言跨模态框架

Vision Transformer代码

自注意力机制（转载）

谁将取代 transformer；PPT 开发者去世；ChatGPT 访问量连续三个月下降丨 RTE开发者日报 Vol.46

DPText-DETR: 基于动态点query的场景文本检测，更高更快更鲁棒 | 京东探索研究院

【transformer】动手学ViT

autoware.ai感知随笔--地面滤波

CNN+Transformer

DPText-DETR: 基于动态点query的场景文本检测，更高更快更鲁棒 | 京东探索研究院

DPText-DETR: 基于动态点query的场景文本检测，更高更快更鲁棒 | 京东探索研究院

NLP（4）--BERT

使用 Hugging Face Transformer 创建 BERT 嵌入

LEARNING TO GROW PRETRAINED MODELS FOR EFFICIENT TRANSFORMER TRAINING

AI系统论文阅读：SmartMoE

微调 TrOCR – 训练 TrOCR 识别弯曲文本

【论文+代码】1706.Transformer简易学习笔记

[预训练语言模型专题] RoBERTa: 捍卫BERT的尊严

大模型的好伙伴，浅析推理加速引擎FasterTransformer

Huggingface简介及BERT代码浅析

《自然语言处理(NLP)的最新进展：Transformers与GPT-4的浅析》

VL系列 Exchanging-based Multimodal Fusion with Transformer 论文阅读笔记

Transformer貌似也是可以使用state递归解码和训练的

【NLP】第 3 章 ：BERT

LGFormer：LOCAL TO GLOBAL TRANSFORMER FOR VIDEO BASED 3D HUMAN POSE ESTIMATION

End-to-end 3D Human Pose Estimation with Transformer

新技术前沿-2023-基于Hugging Face体验微软NewBing必应GPT4.0

对Transformer中的Attention(注意力机制)的一点点探索

论文阅读“Self-supervised Graph Convolutional Network for Multi-view Clustering”

论文阅读“Text Level Graph Neural Network for Text Classification”

【ICCV2021】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

【ECCV2022】Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation

【ICCV2023】Robustifying Token Attention for Vision Transformers

论文笔记-Masked Autoencoders Are Scalable Vision Learners

医学图像分割新方法：超越自注意力: 用于医学图像分割的可变形大核注意力

ChatGPT3 Transformer 的多模态全能语言模型

AIGC之文本内容生成概述（下）—— GPT

1.论文结构

Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation文献复现

深度学习 | 关于transformer你必须知道的20个知识点

IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition 论文阅读

关于GPT的20个知识，你都知道吗？

TrOCR – 基于 Transformer 的 OCR 入门指南

如何把 Gradio 应用上传到 Hugging Face

SG-Former：具有进化Token重新分配的自引导Transformer

如何在SAM时代下打造高效的高性能计算大模型训练平台

【NLP】第 3 章：BERT