Transformers》第29页

安装使用 pytorch 1.9.1, transformers 4.11.3

以前跑实验用的pytorch和transformers的版本都比较低，最近的论文放出的代码使用的两个软件的版本都已经很高了，为了减少修代码的麻烦，决定升级这两个软件的版本。废了一番周折。

wangxiaosu·2022-11-21 21:00

全新conda环境安装transformers全流程记录

前言由于需要安装huggingface的transformers库，但是在我windows的一个已经安装好pytorch和tensorflow的环境中安装，总是出现各种问题。

eecspan·2022-11-21 21:59

Transformers库安装报错

安装Transformers库用来调取最新的深度学习模型（NLP）安装时报错：ERROR:Commanderroredoutwithexitstatus1:Ifyouareusinganoutdatedpipversion

瞳色琉璃842·2022-11-21 21:24

Transformers 库安装

1.安装轻量版本pipinstalltransformers这种方法安装的是轻量版本的transformers库，也就是说，没有安装配套的Pytorch和Tensorflow。

gxbz_572·2022-11-21 21:52

Conditional Positional Encodings for Vision Transformers（论文阅读笔记）

论文来源：arxiv.org本文作者：李炎，硕士研究生，目前研究方向为深度学习、计算机视觉。目录摘要问题描述本文核心工作模型实验总结其他相关文章与知识参考文献摘要不同于之前的人工设置的定长的位置编码（PositionEncoding）或可学习位置编码，本文设计了一种条件位置编码CPE（conditionalpositionalencoding），CPE是动态生成的，并以输入token的局部邻域为条

木子李0306·2022-11-21 19:35

论文阅读笔记-A Survey on Graph Neural Networks and Graph Transformers in Computer Vision(GNN综述)

论文阅读笔记-GNN综述主要介绍了GNN以及它在各个领域的应用2DNATURALIMAGESImageClassificationMulti-LabelClassificationML-GCN:buildsadirectedgraphonthebasisoflabelspace,whereeachnodestandsforaobjectlabel(wordembeddings)andtheirco

lzl2040·2022-11-21 19:57

一文带你浏览Graph Transformers

作者丨whistle@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/536489997编辑丨极市平台导读本文通过整理分析2020-2022年不同顶会关于GraphTransformers的论文，汇总并对比了该领域的各种前沿方法。写在前头为什么图上要使用Transformer？简要提一下GT带来的好处：能捕获长距离依赖减轻出现过平滑，过挤压现象GT中甚至可以结合进GN

Tom Hardy·2022-11-21 18:14

DETR: End-to-End Object Detection with Transformers （论文阅读笔记）

DETR是FacebookAI研究院于2020年提出的一种端到端的目标检测新方法，它省略了大量人工设计的组件并且不需要NMS后处理。论文地址：https://arxiv.org/pdf/2005.12872.pdf对于DETR的改进DeformableDETR可以阅读：https://blog.csdn.net/weixin_40671425/article/details/121453942摘要

酉意铭·2022-11-21 18:14

End-to-End Object Detection with Transformers

摘要我们提出了一种将目标检测视为有向集合预测问题的新方法。我们的方法简化了检测流程，有效地消除了对许多手工设计组件的需求，如非最大抑制过程或锚参数生成，它们明确编码了我们关于任务的先验知识。新框架的主要组成部分被称为“DEtectionTRansformer"或“DETR”，它是一种基于集合的全局损失，通过二分匹配和Transformer编码器-解码器架构来强制进行独特的预测。给定一组固定的小的学

Wanderer001·2022-11-21 18:13

论文阅读-Combining EfficientNet and Vision Transformers for Video Deepfake Detection（深度鉴伪）

CombiningEfficientNetandVisionTransformersforVideoDeepfakeDetection论文代码：https://github.com/davide-coccomini/Combining-EfficientNet-and-Vision-Transformers-for-Video-Deepfake-Detection

完美屁桃·2022-11-21 18:39

Conformer（cnn+transformers）论文详解

从知乎转载：目标检测算法Conformer（卷积-注意力机制）-咚咚的文章-知乎https://zhuanlan.zhihu.com/p/397080280目标检测算法Conformer（卷积-注意力机制）本文主要对目标检测算法Conformer进行讲述，本文逻辑结构和论文保持一致。论文：Conformer:LocalFeaturesCouplingGlobalRepresentationsfor

yzZ_here·2022-11-21 17:37

pip安装Transformers时遇到的问题Failed to build tokenizers

我在使用pip安装transformers这个库的时候遇到Failedtobuildtokenizers，解决办法:condainstall-chuggingfacetransformers我的安装环境

毕节二龙哥·2022-11-21 17:42

pip安装transformers报错Failed to build tokenizers ERROR: Could not build wheels for tokenizers,

这可能是因为它自动安装的版本不太合适，如果使用condainstall-chuggingfacetransformers解决，会降低自己numpy等的版本，导致后续出现其他问题我在网上搜到一般使用3.4.0版本pipinstalltransformers==3.4.0我的python是3.6的，可以解决然后可能会和自己使用的框架版本不匹配，我开始使用的是tensorflow2.6,和这个版本的tr

weixin_44521580·2022-11-21 17:41

sentence transformers安装

sentence-transformers安装（成功解决：OSError:[WinError127]找不到指定的程序。

一个无情的靓女·2022-11-21 17:00

安装sentence-transformers

点击此处可访问SBERT官方代码(GitHub)在安装sentence-transformers之前需要确保以下条件：WerecommendPython3.6orhigher,PyTorch1.6.0orhigherandtransformersv4.6.0orhigher.ThecodedoesnotworkwithPython2.7

竹霖聴雨·2022-11-21 17:29

pip安装sentence transformer失败原因解析

本来是很简单的一个命令解决的事情pipinstallsentence-transformers结果报错WARNING:Retrying(Retry(total=0,connect=None,read=None

Meilinger_·2022-11-21 16:58

Bert句嵌入模块sentence-transformers实战入门

不支持python2.7pytorch安装参考PyTorch安装报错_piukaty的博客-CSDN博客transformers安装：pipinstalltransformerssentence-transformers

piukaty·2022-11-21 16:45

transformer bert微调实例---细节解读

源码来源：https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification代码解读

骑单车的王小二·2022-11-21 14:01

【NLP】使用 PyTorch 通过 Hugging Face 使用 BERT 和 Transformers 进行情感分析

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录

Sonhhxg_柒·2022-11-21 12:51

ICLR2022《HOW DO VISION TRANSFORMERS WORK?》

论文链接：https://arxiv.org/abs/2202.06709代码链接：https://github.com/xxxnell/how-do-vits-work1.动机多头自注意力(MSAs)技术在计算机视觉领域的成功已是不争的事实。然而，人们对MSAs的工作原理知之甚少。此外很多工作对MSA工作原理的分析只停留在其具有弱归纳偏置（weakinductivebias）和长距离依赖捕捉（l

Love向日葵的兮兮子·2022-11-21 10:58

【读点论文】Separable Self-attention for Mobile Vision Transformers，通过引入隐变量将Q矩阵和K矩阵的算数复杂度降低成线性复杂度，分步计算注意力。

SeparableSelf-attentionforMobileVisionTransformersAbstract移动视觉transformer(MobileViT)可以在多个移动视觉任务中实现最先进的性能，包括分类和检测。虽然这些模型的参数较少，但与基于卷积神经网络的模型相比，它们具有较高的延迟。MobileViT的主要效率瓶颈是transformer中的多头自我注意(MHA)，相对于令牌(或

羞儿·2022-11-21 10:27

[TinyML]EfficientFormer:Vision Transformers at MobileNet Speed

EfficientFormer:VisionTransformersatMobileNetSpeedAbstractSectionIIntroductionSectionIIRelatedWorkSectionIIIOn-DeviceLatencyAnalysisofVisionTransformersSectionIVDesignofEfficientFormerPart1Dimension-c

黄小米吖·2022-11-21 10:24

【阅读笔记】HOW DO VISION TRANSFORMERS WORK?

原论文地址：https://arxiv.org/abs/2202.06709目录Abstract1.Introduction1.1RealtedWork1.2Contribution2.KeyPoints3.AlterNetAbstract论文围绕三点展开：1.MSA通过平缓神经网络的losslandscape提升准确度和泛化能力，这种能力来自于dataspecificity而不是long-ran

西西弗斯42·2022-11-21 10:23

Vision Transformers for Dense Prediction--阅读阶段

MengYa_DreamZ·2022-11-21 10:21

ModuleNotFoundError: No module named ‘transformers‘，已经安装了transformers库

明明已经安装了transformers库了，运行代码时却说找不到。先说明我的环境。

打孔猿·2022-11-21 08:27

ModuleNotFoundError: No module named ‘transformers.models‘

这种情况出现的原因可能就是指定安装的transformers的版本太低，现在一般使用3.4版本的较多，可以尝试一：将自己安装的低版本进行升级为版本较高的transformers,即pipinstalltransformers

weixin_43648549·2022-11-21 08:27

BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

转载请注明出处：https://blog.csdn.net/nocml/article/details/124860490传送门：BERT(一)–论文翻译：BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingBERT(二)–论文理解：BERT模型结构详解Transformer系列：Transformer(一

吕秀才·2022-11-21 08:10

nlp-with-transformers系列-03_剖析transformers模型

在第2章中，我们看到了微调和评估一个Transformer所需要的东西。现在让我们来看看它们在引擎盖下是如何工作的。在本章中，我们将探讨Transformer模型的主要组件以及如何使用PyTorch实现它们。我们还将提供关于如何在TensorFlow中做同样事情的指导。我们将首先专注于建立注意力机制，然后添加必要组件，使Transformer编码器工作。我们还将简单了解一下编码器和解码器模块之间的

致Great·2022-11-21 06:35

datawhale课程《transformers入门》笔记3：图解GPT-2

文章目录1.GPT简介2.与BERT的一个不同之处3.GPT2结构详解3.1Transformer-Decoder3.2GPT2训练过程3.3GPT2的输入3.4token在decoder层向上流动3.5模型输出3.6简化说明4.GPT2的Self-Attention4.2Self-Attention层详细过程5.GPT-2全连接神经网络FFNN5.1FFNN结构5.2代码示例5.3总结6.灾难性

神洛华·2022-11-21 06:11

Transformers

目录Attentionseq2seq模型AttentionTransformers流程图组成Self-attention计算流程multi-headattention位置编码残差连接解码器Transformer训练代码embedding位置编码multi_head_attentionencoderDecoderTransformer参考Attentionseq2seq模型模型组成：编码器+解码器模

Gu_NN·2022-11-21 05:40

ICCV | 2021 OadTR: Online Action Detection with Transformers代码复现遇到的问题

该论文提出了一种基于transformer的在线行为检测框架OadTR,该框架能够从视频流中识别出正在发生的行为，该模型可用在在自动驾驶，视频监控，异常检测等方面。论文地址代码地址1.缺少安装包sklearn解决：安装sklearnpipinstallsklearnsklearn是一个Python第三方提供的非常强力的机器学习库，它包含了从数据预处理到训练模型的各个方面。sklearn拥有可以用于

ycolourful·2022-11-21 01:31

Remote Sensing Image Change Detection with Transformers复现遇到的问题

1、解决ImportError:/usr/lib/x86_64-linux-gnu/libstdc++.so.6:version`GLIBCXX_3.4.22‘notfoun这个是默认路径下的libstdc++.so.6缺少GLIBCXX_3.4.22，你有可能缺少其它版本的比如3.4.23，解决方法一样，如下所示：（1）使用指令先看下目前都有哪些版本的strings/usr/lib/x86_64

weixin_44987754·2022-11-21 01:59

pip install transformers报错

前提：Python3.6.2Tensorflow2.6.0问题：windows系统下anaconda虚拟环境安装transformers时，报错如下：error:can'tfindRustcompilerIfyouareusinganoutdatedpipversion

xxyAI·2022-11-20 22:50

【论文笔记】Visual Attention Network

：VisualAttentionNetwork论文地址：https://arxiv.org/abs/2202.09741项目地址：Visual-Attention-Network·GitHub（官方）transformers

m0_61899108·2022-11-20 22:02

LoFTR配置运行: Detector-Free Local Feature Matching with Transformers ubuntu18.04 预训练模型分享

刚装好系统的空白系统ubuntu18.04安装，首先进入软件与更新换到国内源。论文下载代码下载1.anaconda3.5.3安装Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirrorhttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/1.1下载完成后运行安装软件：bashA

李皮皮的悲惨生活·2022-11-20 21:59

论文阅读《LoFTR: Detector-Free Local Feature Matching with Transformers》

论文地址：https://arxiv.org/pdf/2104.00680.pdf代码地址：https://github.com/zju3dv/LoFTR背景本文提出了一种新的局部图像特征匹配方法，通过先在粗层次上建立像素级密集匹配，然后在更细的层次上进行细化，并利用transformer的自注意层和交叉注意力层来获取基于两幅图像的特征描述符。本文的创新点在于Transformer提供的全局感

CV科研随想录·2022-11-20 21:24

LoFTR: Detector-Free Local Feature Matching with Transformers 2021

核心思想：本文的目的是为了解决传统匹配的时候detector不鲁棒的问题，例如下图，上边是本文匹配结果，下边是superglue匹配结果：可以认为是在superglue上的简单改进整体pipeline：如下图所示，整体pipeline分为四个模块：网络输入两张待匹配的image，输出最终的localfeature的匹配结果1>localfeature和传统的deepfeature网络类似，使用cn

lizhaohu01·2022-11-20 21:23

LoFTR Detector-Free Local Feature Matching with Transformers 环境配置

LoFTR:Detector-FreeLocalFeatureMatchingwithTransformers环境配置一、环境配置及文件下载1.文件下载源码下载链接：https://zju3dv.github.io/loftr相关模型下载链接:https://pan.baidu.com/s/1QLGxLspQ_aia_MbZKAunig密码:5h8n2.环境配置将文件路径切换到解压后的源码文件夹中

南乔枝6060·2022-11-20 21:53

论文笔记：LoFTR: Detector-Free Local Feature Matching with Transformers

论文链接：论文地址代码链接：代码地址摘要：是一种detect-free的匹配算法,没有检测特征点，模型直接输出匹配对，利用cnn初步提取特征，再利用transformer的全局注意力加强特征，可以较好的对低纹理图片和相似区域进行匹配，个人感觉后面匹配那部分跟superglue很像。方法：1.使用resnet+FPN提取分辨率为1/8的粗略特征图以及1/2的精细特征图2.PositionalEnco

qq_37516798·2022-11-20 21:46

CVPR2021配准算法LoFTR的配置（LoFTR: Detector-Free Local Feature Matching with Transformers）

1、论文下载地址：https://arxiv.org/pdf/2104.00680.pdf2、代码下载地址：https://github.com/zju3dv/LoFTR3、新建虚拟python环境并激活condacreate-nLoFTRpython=3.7sourceactivateLoFTR4、安装需要的库pipinstalltorch==1.6.0einopsyacskorniaopenc

博博有个大大大的Dream·2022-11-20 21:45

[Transformer] AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition

微调不到0.2%就超越现有微调方法？港大等提出即插即用的轻量级模块AdaptFormerhttps://mp.weixin.qq.com/s/v5OUKK2jZdm63SwP192yKQAdaptFormer:AdaptingVisionTransformersforScalableVisualRecognition论文：https://arxiv.org/abs/2205.13535代码：htt

Cherry_qy·2022-11-20 20:40

《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文翻译--中英对照

文章目录1Introduction(简介)2RelatedWork（相关工作）2.1Feature-basedApproaches（基于特征的方法）2.2Fine-tuningApproaches（微调方法）2.3TransferLearningfromSupervisedData（在有监督数据上的迁移学习）3BERT3.1ModelArchitecture（模型结构）3.2InputRepres

吕秀才·2022-11-20 18:08

论文阅读——Reduce Information Loss in Transformers for Pluralistic Image Inpainting-CVPR 2022

原文链接：[2205.05076]ReduceInformationLossinTransformersforPluralisticImageInpainting(arxiv.org)代码链接：liuqk3/PUT:Paper'ReduceInformationLossinTransformersforPluralisticImageInpainting'inCVPR2022(github.com

行百里-半九十·2022-11-20 16:32

论文阅读——High-Fidelity Pluralistic Image Completion with Transformers

原文连接：High-FidelityPluralisticImageCompletionWithTransformers(ICCV2021).ZiyuWan,JingboZhang,DongdongChen,JingLiao[Paper][Project][Code]本文创新点：将transformer用于图像修复，实现多元化修复。主要思想：将修复过程分成两个步骤，用transformer进行外观

行百里-半九十·2022-11-20 16:31

Are Transformers Effective for Time Series Forecasting?（机翻部分段落

最近，基于Transformer的时间序列预测(TSF)任务解决方案激增，特别是具有挑战性的长期TSF问题。Transformer架构依靠自注意机制有效提取长序列中成对元素之间的语义相关性，这种相关性具有置换不变和一定的“反序”特性。然而，在时间序列建模中，我们要提取连续点的有序集合之间的时间关系。因此，基于Transformer的技术是否是“长期”时间序列预测的正确解决方案是一个值得研究的有趣问

小兔子乖乖。·2022-11-20 13:17

【自动驾驶】《TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers》论文阅读笔记

论文：https://arxiv.org/pdf/2203.11496.pdf代码：GitHub-XuyangBai/TransFusion:[PyTorch]OfficialimplementationofCVPR2022paper"TransFusion:RobustLiDAR-CameraFusionfor3DObjectDetectionwithTransformers".https://

聿默·2022-11-20 13:48

【论文阅读】[CVPR2022]TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers

(1)当前面临的问题是什么以及原因？虽然sensorfusion在该领域越来越受欢迎，但是对劣质图像(inferiorimage)条件鲁棒性不好，（例如照明不佳和传感器未对准），现有的融合方法很容易受到这些条件的影响，主要是由于calibrationmatrices建立的LiDARpoints和imagepixels的硬关联(hardassociation)。注：calibrationmatric

小羊咩~·2022-11-20 13:45

使用huggingface‘s transformers预训练自己模型时报：Assertion ‘srcIndex ＜ srcSelectDimSize‘ failed. 的解决办法

huggingface'stransformers是目前功能比较强大的包含各种预训练Transformer类模型的framework：https://github.com/huggingface/transformers

蛐蛐蛐·2022-11-20 12:55

【ECCV2022】AMixer: Adaptive Weight Mixing for Self-Attention Free Vision Transformers

1、Motivation这个论文来自于清华大学鲁继文老师团队，核心是attention和MLP-mixer思想的结合。建议用2分钟时间学习一下谷歌公司的MLP-Mixer「MLP-Mixer:Anall-MLPArchitectureforVision」CVPR2021VisionTransformer模型最近非常流行，最后也出现了一些以MLP-Mixer为代表的完全由MLP组成的模型（下图展示了

AI前沿理论组@OUC·2022-11-20 12:45

CoAtNet: Marrying Convolution and Attention for All Data Sizes翻译

点击下载论文实现代码实现代码摘要人们对Transformers应用在在视觉领域越来越感兴趣，但是他们仍然落后于现在的最好的卷积神经网络。

jjw_zyfx·2022-11-20 11:00

推荐频道

Transformers》