TRANSFORMERS 第28页

【Transformer】3、Deformable DETR: deformable transformers for end-to-end object detection

文章目录一、背景和动机二、方法三、效果四、可视化论文链接：https://arxiv.org/pdf/2010.04159.pdf代码链接：https://github.com/fundamentalvision/Deformable-DETR一、背景和动机DETR的提出，改善了之前的方法需要大量手工设计操作的局面（如anchor和NMS），并且首次建立了一个完整的end-to-end的检测器。但

呆呆的猫·2022-11-24 09:51

[论文阅读：transformer系列]Deformable DETR: Deformable Transformers for End-to-End Object Detection

FacebookAI提出了DETR，利用Transformer去做目标检测，该方法去除了许多目标检测中的人工设计组件，同时展现了非常好的性能。但是，DETR存在收敛速度慢和特征分辨率有限等缺陷。为了解决这些问题，来自商汤研究院等机构的研究者提出了可变形DETR，其注意力模块仅关注于参考点附近的一小部分采样点作为注意力模块中的key元素。可变形DETR可以在比DETR少9/10的训练轮数下，达到更好

吃吃今天努力学习了吗·2022-11-24 09:51

目标检测 - Deformable DETR: Deformable Transformers for End-to-End Object Detection

文章目录0.前言1.要解决什么问题2.用了什么方法3.效果如何4.还存在什么问题&可借鉴之处0.前言相关资料：arxivgithub，说会release论文解读，知乎讨论论文基本信息领域：目标检测作者单位：商汤发表时间：2020.10一句话总结：在DETR中加入了Deformable1.要解决什么问题DETR存在一些问题：收敛速度慢（需要训练更多的epochs）Transformer处理图像数据时

清欢守护者·2022-11-24 09:50

论文笔记： ICLR2021 Deformable DETR: Deformable Transformers for End-to-End Object Detection

参考：DeformableDETR学习笔记_WaitPX的博客-CSDN博客_deformabledetr基于Transformer的ViT、DETR、DeformableDETR原理详解-Jerry_Jin-博客园背景：DERT存在的问题：（1）训练时间长，收敛速度慢（2）在小物体上的表现较差：其他的检测器通过高分辨率特征图去提取小物体，但高分辨率特征图会导致transformer不可接受的计算

_击空明兮溯流光_·2022-11-24 09:50

【Deformable DETR 论文+源码解读】Deformable Transformers for End-to-End Object Detection

目录前言一、背景和改进思路二、细节原理和源码讲解2.1、多尺度特征2.1.1、backbone生成多尺度特征2.1.2、多尺度位置编码2.2、多尺度可变形注意力2.2.1、普通多头注意力：MultiHeadAttn2.2.2、可变形多头注意力：DeformAttn2.2.3、多尺度可变形多头注意力：MSDeformAttn2.2.4、源码分析2.3、DeformableDETR：简单版2.3.1、

满船清梦压星河HK·2022-11-24 09:48

NLP-D52-nlp比赛D21&刷题D8&&量化&&图D1

应该会自动填充完那些需要的字符，比如[CLS]参考：https://zhuanlan.zhihu.com/p/341994096https://www.kaggle.com/code/maroberti/fastai-with-transformers-bert-roberta

甄小胖·2022-11-24 07:20

【笔记】3.5多层感知机

原始数据->手工特征提取->线性/softmax回归现在：原始数据->神经网络->线性/softmax回归神经网络通常需要更多的数据和计算神经网络体系结构用于对数据结构建模多层感知机卷积神经网络循环神经网络Transformers

是木槿花啊·2022-11-24 00:42

AttributeError: ‘str‘ object has no attribute ‘size‘

batch_size=key.size(0)AttributeError:'str'objecthasnoattribute'size'transformers版本不对。

qingjuanzhao·2022-11-23 21:06

BERT | （4）Bert生成句向量_pytorch

原文地址：Bert生成句向量(pytorch)本文主要讲如何调用transformers这个包来提取一个句子的特征。

郭畅小渣渣·2022-11-23 17:19

深度学习文本分类文献综述（翻译自Deep Learning Based Text Classification: A Comprehensive Review）

2.1Feed-ForwardNeuralNetworks2.2RNN-BasedModels2.3CNN-BasedModels2.4CapsuleNeuralNetworks2.5ModelswithAttentionMechanism2.6Memory-AugmentedNetworks2.7Transformers2

qq_长期不在·2022-11-23 15:23

#今日论文推荐# Transformers如何进行时序分析？Rowan大学最新《Transformers时序分析》综述

wwwsxn·2022-11-23 14:51

[Transformer]Transformers in Time Series: A Survey

Transformer用于时间序列AbstractSectionIIntroductionSectionIIPreliminariesoftheTransformerPart1VanillaTransformerSectionIII时间序列的Transformer模型SectionIVNetworkMdificationforTimeSeriesPart1PositionalEncodingPar

黄小米吖·2022-11-23 14:16

【时序】应用于时间序列的 Transformer 综述论文笔记

TransformersinTimeSeries:ASurvey论文下载：https://arxiv.org/abs/2202.07125论文源码：https://github.com/qingsongedu/time-series-transformers-review

datamonday·2022-11-23 14:39

Transformers使用bert模型预留的[unused*]时遇到的问题：torch.embedding IndexError: index out of range in self

先报错了CUDAerror:device-sideasserttriggered然后模型放到cpu里查看具体原因，报错了：torch.embedding(weight,input,padding_idx,scale_grad_by_freq,sparse)IndexError:indexoutofrangeinself最后发现是因为改了bert预留的[unused*]导致的问题：tokenizer

持续战斗状态·2022-11-23 14:01

知识图谱中“三元组”抽取——Python中模型总结实战（基于TensorFlow2.5）

windows上了2、使用五、基于TensorFlow2自定义NER模型（构建、训练与保存模型范例）1、BiLSTM+CRF模型2、BERT+CRF（或softmax）模型1、使用keras_bert：2、使用transformers3

lucky_chaichai·2022-11-23 07:40

#Reading Paper# 【序列推荐】ICKM 2022 RETR：Recommender Transformers with Behavior Pathways

堇禤·2022-11-23 03:59

学习率预热(transformers.get_linear_schedule_with_warmup)

学习率预热在预热期间，学习率从0线性增加到优化器中的初始lr。在预热阶段之后创建一个schedule，使其学习率从优化器中的初始lr线性降低到0Parametersoptimizer(Optimizer)–Theoptimizerforwhichtoschedulethelearningrate.num_warmup_steps(int)–Thenumberofstepsforthewarmupp

Douzi1024·2022-11-23 01:39

Pytorch-Bert预训练模型的使用（调用transformers）

笔记摘抄1.transformer资料transformers（以前称为pytorch-transformers和pytorch-pretrained-bert）提供用于自然语言理解（NLU）和自然语言生成

Douzi1024·2022-11-23 01:39

SMP-EWECT-如何利用pytorch transformers实现一个bert分类模型（第一篇）

如何利用pytorchtransformers实现一个bert分类模型说在前面的话比赛简介数据分析BertBaseline搭建Bert初探数据读取数据加载模型训练模型的评估与保存超参数的设置总结说在前面的话假期期间参加了一个情感分析的比赛，smp的ewect任务，侥幸获得了三等奖，希望可以通过这边博客记录一下自己从零开始做比赛的心得，希望各位不吝指正。这是这个系列的第一篇，我将在这里面介绍一下比赛

thinking慢羊羊·2022-11-22 23:32

论文阅读【4】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Alan and fish·2022-11-22 23:31

基于Transformers+CNN/LSTM/GRU的文本分类

阅读大概需要5分钟跟随小博主，每天进步一丢丢转载自：NLP太难了公众号Transformers_for_Text_Classification本项目的Github地址https://github.com

zenRRan·2022-11-22 23:01

试试在transformers中调用ERNIE

ERNIE是什么ERNIE发展路径文心大模型ERNIE是百度发布的产业级知识增强大模型，涵盖了NLP大模型和跨模态大模型。在中文场景下，ERNIE有明显的优势，目前已经发布了一系列模型，包括ERNIE1.0,ERNIE2.0,ERNIE3.0,ERNIE-Gram,ERNIE-Doc等，并且一直在持续更新中。ERNIE官方的代码和模型是PaddlePaddle版本的，具体可以参见：PaddlePa

nghuyong·2022-11-22 23:52

transformers库的使用【一】——pipeline的简单使用

transformers库的使用使用pipelineAPI来快速使用一些预训练模型使用预训练模型最简单的方法就是使用pipeline()，transformers提供了一些任务：1、情感分析（Sentmentanalysis

桉夏与猫·2022-11-22 22:30

L-DETR: A Light-Weight Detector for End-to-End Object Detection With Transformers

L-DETRABSTRACTI.INTRODUCTIONII.RELATEDPRELIMINARYWORK**A.用于目标检测的轻型模型****B.激活函数****C.规范化**III.一种基于PP-LCNet和变压器的轻型检测器A.基于骨干的改进的PP-LCNetB.改进的TransformerIV.EXPERIMENTANDANALYSISA.IMAGEDATASETSB.DETAILSOFM

ZZE15832206526·2022-11-22 20:53

【论文解读】DaViT：Dual Attention Vision Transformers

DaViT是香港大学和微软等研究机构在近期新发布的一个VisionTransformer模型，这个工作的创新之处是提出了一种双注意力机制（dualattention）来高效地实现全局建模，其中最大的模型DaViT-Giant在ImageNet1K数据集上达到了90.4%的Top1Accuracy，超过了之前的SwinV2（90.17%）。这里的双attention是从两个正交的角度来进行self-

小羊要开心a·2022-11-22 19:16

[论文阅读] Polyp-PVT: Polyp Segmentation with Pyramid Vision Transformers

论文地址：https://arxiv.org/abs/2108.06932代码：https://github.com/DengPingFan/Polyp-PVT发表于：IEEETMI’22Abstract大多数息肉分割方法使用CNN作为其骨干，导致在编码器和解码器之间交换信息时出现两个关键问题：1)考虑到不同级别特征之间的贡献差异；2)设计一个有效的机制来融合这些特征。与现有的基于CNN的方法不同

xiongxyowo·2022-11-22 19:16

【ECCV2022】DaViT: Dual Attention Vision Transformers

【ECCV2022】DaViT:DualAttentionVisionTransformers代码：https://github.com/dingmyu/davit这个论文想法很自然也容易想到。Transformer都是在处理PxC二维的数据，其中P是token的数量，C是特征的维度。普通的方法都是在P这个维度计算attention，那么是不是可以在C这个维度计算attention呢？肯定是可以的

AI前沿理论组@OUC·2022-11-22 19:14

ICCV 2021| OadTR: Online Action Detection with Transformers论文笔记

论文地址代码地址1.研究背景在线行为检测的目地是在没有任何未来访问权限的情况下，从视频流中正确识别出正在发生的行为。由于在自动驾驶和视频监控，异常检测等领域具有很大的应用前景而收到越来越多的关注。该任务主要挑战是我们要在不充分观察的情况下，在视频帧到达的时刻检测出行为，为了解决该问题，就需要对长程时序依赖关系进行学习，目前的方法趋向于使用RNN对时序依赖关系建模，但是RNN存在非并行性，以及梯度消

ycolourful·2022-11-22 19:29

长文 | HuggingFace实战之多语言命名实体识别

来自：ChallengeHub作者：致Great到本章为止，我们已经使用Transformers模型来解决英文语料的NLP任务，但如果我们语料是用Greek,Swahili或者Klingon等语言组成，

zenRRan·2022-11-22 16:01

深度学习实战（3）transformers使用BERT和Roberta做embedding

博客目录了解Transformers安装Transformers安装CUDA10.1配置python环境使用Transformers使用BERT使用Roberta了解Transformerstransformers

icebird_craft·2022-11-22 16:58

【ECCV2022】OSFormer: One-Stage Camouflaged Instance Segmentation with Transformers

论文：https://arxiv.org/abs/2207.02255论文中文版：https://dengpingfan.github.io/papers/%5B2022%5D%5BECCV%5DOSFormer_Chinese.pdf代码：https://github.com/PJLallen/OSFormer1、Motivation伪装物体检测最近比较火，也非常有趣，具体可以参考程明明老师的知

AI前沿理论组@OUC·2022-11-22 15:37

End-to-End Object Detection with Transformers，DETR论文学习

End-to-EndObjectDetectionwithTransformers，DETR论文学习1.引言2.本论文发表前的目标检测策略(非端到端的目标检测策略)2.1目标检测的任务2.2one-stage目标检测策略2.3two-stage目标检测策略2.4如何产生候选区域2.4.1滑动窗口法2.4.2选择性搜索算法2.4.3RPN网络（RegionProposalNetwork）2.5anc

吃蔬菜的狗·2022-11-22 12:11

Twins: Revisiting the Design of Spatial Attention inVision Transformers解读

文章：https://arxiv.org/abs/2104.13840代码：GitHub-Meituan-AutoML/Twins:Twosimpleandeffectivedesignsofvisiontransformer,whichisonparwiththeSwintransformerTwosimpleandeffectivedesignsofvisiontransformer,whic

行走的人参·2022-11-22 09:54

复现HAT: Hierarchical Aggregation Transformers for Person Reid ICCV21

1.下载数据集和代码代码地址：GitHub-AI-Zhpp/HATMarket1501：http://www.liangzheng.org/Project/project_reid.html或者：DukeMTMC-reID：https://github.com/layumi/DukeMTMC-reID_evaluation2.除了pytorch环境，还要pip如下几个包。pipinstallyac

行走的人参·2022-11-22 09:24

python报错：ImportError: cannot import name ‘AlbertModel‘ from ‘transformers‘

运行别人代码的时候报错我们只需要将transformers升级一下即可pipinstalltransformers--upgrade

悟空空吖·2022-11-22 08:13

[Transformer] CMT：Convolutional Neural Networks Meet Vision Transformers

论文链接:https://arxiv.org/abs/2107.06263论文代码(个人实现版本):GitHub-FlyEgle/CMT-pytorch:CMT:ConvolutionalNeuralNetworksMeetVisionTransformers官方代码暂未开源复现博客：浅谈Transformer+CNN混合架构：CMT以及从0-1复现1OverviewCNN+Transformer

Cherry_qy·2022-11-22 08:22

CMT: Convolutional Neural Networks Meet Vision Transformers

CMT概要介绍transformer存在的问题CMT中块的设计相关工作CNNVisionTransformer方法整体架构CMTBlockLPULMHSAIRFFN代码解析LPUIRFFNLMHSA概要CNN捕获局部信息，Transformer来捕获全局信息介绍transformer存在的问题将图片打成patch，会忽略图片内部潜在的2D结构和空间局部信息。transformer的块输出和输入大小

_ady·2022-11-22 08:45

【论文精读】CMT: Convolutional Neural Networks MeetVision Transformers

声明不定期更新自己精读的论文，通俗易懂，初级小白也可以理解涉及范围：深度学习方向，包括CV、NLP、Datafusion、DigitalTwin论文标题：CMT:ConvolutionalNeuralNetworksMeetVisionTransformersCMT：卷积神经网络与视觉变压器论文链接：https://arxiv.org/abs/2107.06263论文代码：发表时间：2021年7月

来自γ星的赛亚人·2022-11-22 08:11

【读点论文】CMT: Convolutional Neural Networks Meet Vision Transformers

CMT:ConvolutionalNeuralNetworksMeetVisionTransformersAbstract视觉transformer已经成功地应用于图像识别任务，因为它们能够捕获图像中的长距离依赖性。然而，transformer和现有卷积神经网络（CNN）在性能和计算成本方面仍存在差距。在本文中，本文的目标是解决这个问题，并开发出一种不仅可以超越规范transformer，而且可以

羞儿·2022-11-22 08:01

datawhale 8月学习——NLP之Transformers：Transformers解决机器翻译任务

前情回顾attention和transformersBERT和GPT编写BERT模型BERT的应用、训练和优化Transformers解决文本分类任务、超参搜索Transformers解决序列标注任务Transformers

SheltonXiao·2022-11-22 07:40

Transformers预训练模型使用：序列分类 Sequence Classification

序列分类任务的工作是将文本序列归类到预设类型中，如新闻分类、情感分类等，就属于这类任务。情感分类以下是使用pipelines来进行情感分类的例子，具体任务是判断输入文本是消极的还是积极的。示例：fromtransformersimportpipelineclassifier=pipeline("sentiment-analysis")result=classifier("Ihateyou")[0]

HMTT·2022-11-22 05:16

Actionformer: Localizing moments of actions with transformers 论文阅读笔记

论文地址：https://arxiv.org/abs/2202.07925随着2020年ViT[6]的出现，基于自注意的Transformer模型在图像分类和目标检测方面取得了瞩目的成果，而近期又在视频理解方面取得了较好的成果。受到Transformer的启发，C.Zhang等人于2022年提出了ActionFormer[35]，该模型是第一个Transformer-based的TAL模型，并且是

Encounter84·2022-11-22 02:42

【time series】时间序列领域的Transformer综述论文笔记

5/7论文作者:阿里巴巴达摩院论文下载:https://arxiv.org/abs/2202.07125论文源码:https://github.com/qingsongedu/time-series-transformers-review

xyy ss·2022-11-22 02:39

时序动作定位 | ActionFormer: 使用Transformers动作时刻

目录ActionFormer:LocalizingMomentsofActionswithTransformers摘要3ActionFormer:ASimpleTransformerModelforTemporalActionLocalizationASimpleRepresentationforActionLocalization（动作定位的一个简单表示）MethodOverview3.1使用T

六个核桃Lu·2022-11-22 01:58

ActionFormer: Localizing Moments of Actions with Transformers论文总结

ActionFormer(2022ECCV)《ActionFormer:LocalizingMomentsofActionswithTransformers》作者：南大-张晨麟&吴建鑫团队原文地址：https://arxiv.org/pdf/2202.07925v2.pdf参考博主的笔记：https://blog.csdn.net/zhuzyibooooo/article/details/1262

爱发呆的WWT·2022-11-22 01:55

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding0.摘要BERT的设计目的是通过在所有层中联合调节左右上下文，从未标记的文本中预训练深度双向表示。模型在概念性更加简单，结构性更加有力。结果在各方面特别好1.介绍语言模型预训练在改善很多自然语言处理过程任务时候很高效，包括两类任务，一类句子层面任务，另一类

coder_ZYM·2022-11-21 22:17

安装transformers报错error can‘t find rust compiler

重装系统后安装transformers遇到bug，记录一下，方面以后查看。

斯曦巍峨·2022-11-21 22:51

Mac M1安装transformers库

buildingwheelfortokenizers(pyproject.toml)…error或者whichisrequiredtoinstallpyproject.toml-basedprojects反正就是各种问题我的解决方案：百度搜索transformers

叫什么无所谓234·2022-11-21 21:06

【安装transformers失败解决方法】

因为入门了NLP，今天要用到bert，必须得有transformers`#pipinstalltransformersfromtransformersimportAutoTokenizer#使用预训练模型

rainbowiridescent·2022-11-21 21:03

python transformers_transformers 安装

transformers作者|huggingface编译|VK来源|Github安装此仓库已在Python3.5+，PyTorch1.0.0+和你应该安装虚拟环境中的transformers。

weixin_39643255·2022-11-21 21:00

推荐频道

TRANSFORMERS