Transformers》第32页

datawhale 8月学习——NLP之Transformers：BERT的应用、训练和优化

前情回顾attention和transformersBERT和GPT编写BERT模型结论速递接着上一个任务，本次继续阅读HuggingFace的BERT源码，进一步熟悉了BERT在预训练和微调阶段的应用。分别是预训练阶段的MLM任务和NSP任务，以及微调阶段的一些具体的NLP任务。在教程基础上，还补充了关于导入pre_trained模型的一些内容。随后，进一步了解了BERT在训练过程中，分别在预训

SheltonXiao·2022-10-28 10:53

hugging face 模型库的使用及加载 Bert 预训练模型

一、huggingface模型库Huggingface是一个专注于NLP的公司，拥有一个开源的预训练模型库Transformers，里面囊括了非常多的模型例如BERT、GPT、GPT2、ToBERTa、

IT__learning·2022-10-28 09:19

Hugging Face（1）——Transformer Models

文章目录1.Introduction2.NaturalLanguageProcessing2.1什么是NLP2.2NLP为何很难3.Transformers可以做什么3.1Workingwithpipelines3.2Zero-shotclassification

AcceptGo·2022-10-28 09:48

首篇Transformer在3D点云中的应用综述（检测/跟踪/分割/降噪/补全）

作者|汽车人编辑|3D视觉开发者社区本文目录1摘要2介绍3Transformer实现3.1操作规模3.2操作空间4数据表示4.1基于体素的Transformers4.2基于点云的Transformers53D

奥比中光3D视觉开发者社区·2022-10-28 07:17

图解Transformer：Attention Is All You Need

Transformers是人们认为最复杂和无法理解的话题之一。在这篇文章中，我将给出

视学算法·2022-10-27 21:47

收藏 | 图解Transformer：Attention Is All You Need

Transformers是人们

视学算法·2022-10-27 21:47

datawhale 8月学习——NLP之Transformers：attention和transformers

结论速递这次学习的内容较多，最核心的知识点其实在于理解attention的作用，其实现的关键步骤，self-attention的诞生及其作用。理解了之后Transformer的搭建就显得容易理解很多。在这次笔记中，第一部分简单介绍了问题背景，第二部分首先介绍了处理自然语言的Seq2seq结构，并引入了Attention机制，在这部分介绍中讲述了在Seq2seq中引入Attention的目的，键值对

SheltonXiao·2022-10-27 21:45

transformers中的注意力——Attention is all you need读后感

论文地址transfomer基本元素注意力(ScaledDot-ProductAttention)多头注意力(Multi-HeadAttention)位置编码(PositionEncoding)注意力Attentionisallyouneed中最能解释注意力的话Anattentionfunctioncanbedescribedasmappingaqueryandasetofkey-valuepai

YiyangJump·2022-10-27 21:42

【深度学习】语义分割-论文阅读：（ CVPR 2021）SETR：Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspe

这里写目录标题0.详情1.摘要2.引言2.1原来的模型：FCN2.2使用transformers2.3主要贡献3.相关工作-语义分割模型发展3.1以前基于FCN的改进3.2基于transformer的改进

sky_柘·2022-10-27 11:25

Recsys2021 | 基于Transformer的会话推荐

这一回主要讲解Transformers4Rec论文主体提出的方法。

文文学霸·2022-10-23 09:24

论文阅读：BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding

论文阅读：BERT：Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding预训练的深度双向Transformer语言模型原文链接：BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding 作者：JacobDevlin,Ming

南有芙蕖·2022-10-22 22:04

NLP冻手之路(1)——中文/英文字典与分词操作(Tokenizer)

补充说明一、需要的环境●python需要3.6+，pytorch需要1.10+●本文使用的库基于HuggingFaceTransformer，官网链接：https://huggingface.co/docs/transformers

一支王同学·2022-10-22 22:29

conda 安装 pytorch（GPU）、torchtext、transformers问题解决

conda安装pytorch（GPU）、torchtext、transformers问题解决文章目录conda安装pytorch（GPU）、torchtext、transformers问题解决前言一、问题汇总二

卷_心_菜·2022-10-22 07:36

论文笔记：DETR: End-to-End Object Detection with Transformers (from 李沐老师and朱老师)

背景大多数目标检测方法都是two-stage(proposal)，即便是single-stage(anchor)，最后往往还需要一个后处理的操作，也就是nms(non-maximumsuppersion)非极大值抑制来去除预测框。避免了调参和部署困难(很多复杂的库和普通硬件不支持的算子，人工干预的先验知识)。先前广泛使用的检测模型将detection通过proposal:Faster-R-CNN，

两面包+芝士·2022-10-18 14:38

基于Transformers入门自然语言处理！

我将之前零零散散的Transformer博客、讲解文章进行了整理，形成了一个完整的教程叫做：learnnlpwithtransformers，翻译过来是：基于Transformers入门自然语言处理。

Datawhale·2022-10-17 07:13

基于Transformers的自然语言处理入门【十】-机器翻译

基于Transformers的自然语言处理入门【十】-机器翻译1机器翻译背景2机器翻译模型训练1机器翻译背景机器翻译，是指使用计算机将一种自然语言转换为另一种自然语言的过程。

hezzfew·2022-10-16 13:38

【论文笔记】Remote Sensing Image Change Detection with Transformers

论文论文题目：RemoteSensingImageChangeDetectionwithTransformers收录于：IEEETGRS2021论文地址：RemoteSensingImageChangeDetectionWithTransformers|IEEEJournals&Magazine|IEEEXplorehttps://arxiv.org/abs/2103.00208项目地址：GitH

m0_61899108·2022-10-16 11:54

Transformers预训练模型使用：语言建模 Language Modeling

所有主流的、基于transformer的模型（跟这个包transformers不是一个东西）都使用了语言建模的变体任务进行训练。

HMTT·2022-10-15 07:47

多模态融合2022|TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers

论文题目：TransFusion:RobustLiDAR-CameraFusionfor3DObjectDetectionwithTransformers会议：CVPR2022单位：香港科技大学，华为1.摘要+intro作者认为目前的坑是在point-wise级的融合，之前方法存在两个主要问题，第一，它们简单地通过逐个元素相加或拼接来融合LiDAR特征和图像特征，因此对于低质量的图像特征，例如光照

Rolandxxx·2022-10-13 09:14

Big Bird: Transformers for Longer Sequences（2020-7-28）

模型介绍基于Transformers的模型，例如BERT，在各种自然语言处理(NLP)任务中都取得了巨大的成功，因此成为现代NLP研究的主体。它们的多功能性和鲁棒性是被广泛的主要原因。

不负韶华ღ·2022-10-13 07:46

CMX: Cross-Modal Fusion for RGB-X SemanticSegmentation with Transformers

文章地址：CMX:Cross-ModalFusionforRGB-XSemanticSegmentationwithTransformers|PapersWithCode代码地址：huaaaliu/RGBX_Semantic_Segmentation(github.com)这篇文章是语义分割NYUdepthv2数据集排名第一的方法，同时概括了多种辅助输入，这里只关注RGB-D输入。首先要明白RGB

翰墨大人·2022-10-10 20:28

自然语言处理学习——sentence-Transformers代码分析

关于sentence-Transformer的文章介绍已经有不少了，所以这里就只是贴出来一些链接，然后这篇文章主要就只是介绍下这个方法的一些代码，然后呢当作我的笔记，以及分享给大家。首先最好的教程肯定是官方文档了，官方文档放在这里：https://www.sbert.net/index.html这里有一个全部的在STS上的效果图，大家可以看到还是非常厉害的(●°u°●)」，而且已经做了相当多的实验

量化橙同学·2022-10-10 16:08

Transformer | DETR目标检测中的位置编码position_encoding代码详解

本文主要描述的是DETR论文中的position_encoding，详细DETR论文解析可参考论文篇|2020-Facebook-DETR：利用Transformers端到端的目标检测=＞翻译及理解（持续更新中

夏天｜여름이다·2022-10-08 11:35

Text Spotting Transformers

目录一、TextSpottingTransformersAbstract1.Introduction1.1.RelatedWorks2.Method2.1.Multi-ScaleDeformableAttention2.2.DualDecoders2.3.Box-to-PolygonDetectionProcess2.4.TrainingLosses3.Experiments3.2.Impleme

ZZE15832206526·2022-10-07 13:03

解决RuntimeError: CUDA error: an illegal memory access was encountered问题

用pytorch在多卡训练transformers的时候出现了以下问题：RuntimeError:CUDAerror:anillegalmemoryaccesswasencounteredterminatecalledafterthrowinganinstanceof'c10

今儿学习了没·2022-10-06 07:44

【视觉预训练】《BEIT: BERT Pre-Training of Image Transformers》 ICLR 2022

《BEIT:BERTPre-TrainingofImageTransformers》回顾VLMoBERT回顾在BERT中，每个单词或者字会分配一个token，所以模型的输入是一系列tokenid。MLM训练方式是mask一个位置的token，然后经过BERT之后预测这个位置的token是什么。由于mask的位置是我们自己选的，所以我们是有预测任务的GroundTruth的，因此可以来优化模型参数B

chad_lee·2022-10-02 07:45

transformers的近期工作成果综述

基于transformer的双向编码器表示(BERT)和微软的图灵自然语言生成(T-NLG)等模型已经在机器学习世界中广泛的用于自然语言处理(NLP)任务，如机器翻译、文本摘要、问题回答、蛋白质折叠预测，甚至图像处理任务。在本文中，对基于transformer的工作成果做了一个简单的总结，将最新的transformer研究成果(特别是在2021年和2022年发表的研究成果)进行详细的调研。这张图与

·2022-09-29 15:14

【NLP】第7章使用 GPT-3 引擎的Suprahuman Transformers的崛起

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟2020

Sonhhxg_柒·2022-09-26 07:52

基于Hugging Face -Transformers的预训练模型微调

本章节主要内容包含两部分内容：pipeline工具演示NLP任务处理构建Trainer微调模型文章目录1.简介Transformers的历史Architectures和checkpointsTheInferenceAPI2

神洛华·2022-09-26 07:22

基于微调BERT模型的新闻分类

CUDA_DEVICE_ORDER"]="PCI_BUS_ID";#os.environ["CUDA_VISIBLE_DEVICES"]="0";采用ktrain库进行文本分类目前ktrain工具箱已经集成transformers

qq_48566899·2022-09-26 07:51

【NLP】第1章什么是Transformers？

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟Tran

Sonhhxg_柒·2022-09-26 07:07

conda 配置深度学习环境 pytorch transformers

前言最近想学习一下Huggingface的Transformers库的使用，需要重新搭建一个虚拟环境，做简单记录方便之后工作。

Haulyn5·2022-09-22 21:54

论文篇 | 2020-Facebook-DETR ：利用Transformers端到端的目标检测=＞翻译及理解（持续更新中）

论文题目：End-to-EndObjectDetectionwithTransformers2020论文复现可参考：项目复现|DETR：利用transformers端到端的目标检测_夏天｜여름이다的博客

夏天｜여름이다·2022-09-22 11:57

项目复现 | DETR：利用transformers端到端的目标检测

论文：End-to-EndObjectDetectionwithTransformers论文详解地址：论文地址：https://arxiv.org/abs/2005.12872项目地址：https://github.com/facebookresearch/detr方法一1.下载项目压缩，pycharm打开2.配置所需环境在pycharm上新建conda虚拟环境（我的detr-main）打开Ana

夏天｜여름이다·2022-09-22 11:56

伯克利『全栈深度学习』2022最新课程；谷歌『基于Transformers的通用超参数优化』经验分享；动图编辑器；前沿论文 | ShowMeAI资讯日报

日报合辑|电子月刊|公众号下载资料|@韩信子工具&框架『PyDeepFakeDet』Deepfake换脸检测库https://github.com/wangjk666/PyDeepFakeDetPyDeepFakeDet是由复旦大学视觉与学习实验室开发的一个集成的、可扩展的Deepfake检测工具。其目标是提供最先进的Deepfake检测模型，以及在常用的Deepfake数据集上训练和评估新模型的

ShowMeAI·2022-09-22 07:39

huggingface transformers实战系列-05_文本生成

#hidefromutilsimport*setup_chapter()Usingtransformersv4.11.3Usingdatasetsv1.13.0Usingacceleratev0.5.1文本生成文本生成是自然语言处理中一个重要的研究领域，具有广阔的应用前景。国内外已经有诸如AutomatedInsights、NarrativeScience以及“小南”机器人和“小明”机器人等文本生

致Great·2022-09-21 18:30

【自然语言处理】【文本生成】UniLM：用于自然语言理解和生成的统一语言模型预训练

UnifiedLanguageModelPre-trainingforNaturalLanguageUnderstandingandGeneration》论文地址：https://arxiv.org/pdf/1905.03197.pdf相关博客【自然语言处理】【文本生成】Transformers

BQW_·2022-09-21 17:08

【自然语言处理】【文本生成】Transformers中用于语言生成的不同解码方法

Transformers中用于语言生成的不同解码方法原文地址：https://huggingface.co/blog/how-to-generate相关博客【自然语言处理】【文本生成】Transformers

BQW_·2022-09-21 17:30

ECCV22 最新54篇论文分方向整理｜包含Transformer、图像处理、人脸等（附下载）...

导读最近一周，ECCV2022陆续放出了更多和GAN，Transformers相关的论文，为了让大家及时获取和学习到计算机视觉前沿技术，极市对最新一批论文进行整理（新增54篇），包括分研究方向的论文及代码汇总

视学算法·2022-09-21 13:10

TFT：Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

tft1模型简述1.1输入1.2输出2损失函数3模型结构3.1基本结构3.2整体结构4模型参数说明4.1所有参数4.2列定义参数4.3处理后输入5TFT贡献6其他总结参考资料1模型简述tft模型具有下面特征：支持多个时间序列基于注意力的模型结构具有可解释性特征选择，并使用门控进行特征压缩，速度快1.1输入输入数据为df格式，列可分为下面六类target：预测目标值observedinputs：观测

小yuning·2022-09-20 07:22

论文总结：Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

1.处理问题：多元预测通常带有复杂的输入（包括静态协变量、已知的未来输入、其他在过去观测到的外部时间序列等），而我们却不知它们具体是如何相互交互以及作用于目标的（即各参数通过复杂的非线性交互后才会输出结果，因此很难相信一个模型的输出和对其进行debug）。然而常用的可解释DNN模型对时间序列是不太适合的。2.相关工作：1）用于多元预测的DNN：可分为两类：可迭代的自回归模型、直接的sequence

rebekk·2022-09-20 07:54

论文阅读-Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

可解释多水平时间序列预测的时间融合TransformerTemporalFusionTransformers时间融合Transformers（TFT），一种基于注意力机制的架构。

Poppy679·2022-09-20 07:50

论文阅读：Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

arxiv上的一篇文章，标题为TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting用于可解释多元时间序列预测的时间融合变换器代码：https://github.com/google-research/google-research/tree/master/tft摘要多元预测通常包含复杂的输入组合，包

Bruce-XIAO·2022-09-20 07:43

机器学习笔记-数据预处理（标准化、归一化）（未完）

比如说，假如集合中存在异常值，使用robustscalers或者transformers就更合适一些。数据标准

BurningChrome·2022-09-17 07:26

递归门控卷积HorNet（gn_conv）阅读笔记

HorNet:EfficientHigh-OrderSpatialInteractionswithRecursiveGatedConvolutionsECCV2022程序视觉Transformers的最新进展在基于点积

赫瑟尔·2022-09-12 07:11

Transformers

概述Transformer是一种非常流行的架构，它利用和扩展自注意力的概念，为下游任务创建非常有用的输入数据表示。优点：通过上下文嵌入更好地表示我们的输入令牌，其中令牌表示基于使用自我注意的特定相邻令牌。子词标记，而不是字符标记，因为它们可以为我们的许多关键字、前缀、后缀等提供更有意义的表示。参与（并行）我们输入中的所有标记，而不是受到过滤器跨度（CNN）或顺序处理（RNN）的内存问题的限制。缺点

Soloy_·2022-09-10 07:22

一文详解Transformers的性能优化的8种方法

大模型虽然效果好，但是毕竟不是人人都有着丰富的GPU资源，在训练时往往就捉襟见肘，出现显存outofmemory的问题，或者训练时间非常非常的久，因此，这篇文章主要解决的问题就是如何在GPU资源受限的情况下训练transformers

zenRRan·2022-09-02 07:52

datawhale 8月学习——NLP之Transformers：BERT和GPT

前情回顾1.attention和transformers结论速递由于没有很多的NLP知识背景，跳开NLP框架来学习BERT和GPT的时候，有许多不解和迷惑的地方。

SheltonXiao·2022-08-31 12:56

超越 ConvNeXt、RepLKNet | 看 51×51 卷积核如何破万卷！

点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童自从VisionTransformers(ViT)出现以来，Transformers迅速在计算机视觉领域大放异彩

Tom Hardy·2022-08-25 13:44

浅谈CSwin-Transformers

点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达【导语】局部自注意力已经被很多的VIT模型所采用，但是没有考虑过如何使得感受野进一步增长，为了解决这个问题，Cswin提出了使用交叉形状局部attention，同时提出了局部增强位置编码模块，超越了Swin等模型，在多个任务上效果SOTA，本文给出Cswin的详细解读和分析。论文链接:https://arxiv.org/abs/2107.00

Tom Hardy·2022-08-25 13:43

推荐频道

Transformers》