TRANSFORMERS

Incorporating Convolution Designs into Visual Transformers阅读笔记

IncorporatingConvolutionDesignsintoVisualTransformers阅读笔记Abstract纯Transformer架构需要大量的训练数据或者额外的监督，才能获得与CNN相当的性能。为克服限制，提出一种新的Convolution-enhancedimageTransformer（CeiT）它结合了神经网络在提取低层特征、增强局部性方面的优势和变换器在建立长距离
给个编制·2023-01-24 08:41

Transformers代码笔记系列1(T5 model）

重要参数注释past_key_value:只有Decoder模型在文本生成过程（训练过程用不上）中才能用到。顾名思义，它存储的是Decoder模型在t时刻前输入的token对应的key和value映射，用于减少计算，将input在Wk、Wv上的映射存储起来，进行下一个词预测时，就可以直接拿过来用了。它包括self_attention和cross_attention对应的key、value映射。单个
真炎破天·2023-01-24 08:11

DETR（Detection with Transformers） 学习笔记

FacebookAI的研究者推出了Transformer的视觉版本——DetectionTransformer（DETR），用于目标检测和全景分割。与之前的目标检测系统相比，DETR的架构进行了根本上的改变。这是第一个将Transformer成功整合为检测pipeline中心构建块的目标检测框架。参考资料：DETR学习笔记
u013250861·2023-01-24 08:11

3D Human Pose Estimation with Spatial and Temporal Transformers论文笔记

一.概述3D人体姿态估计的方法主要分为两类：直接估计（Directestimation）和2D到3D(2Dto3Dlifting)。其中2D到3D的方法先利用SOTA2D人体姿态估计算法得到2D关键点，再通过神经网络估计3D人体姿态。基于其优异的表现，2D到3D已成为主流方法。与从单张图片中估计3D人体姿态相比，从视频中估计3D人体姿态能利用时序信息进行更准确的预测。然而主流方法大多利用时序卷积（
由崎司超可爱·2023-01-24 08:10

transformers学习笔记3

创建model的方法automodel创建预训练模型使用automodel直接创建，使用的是hugface官网上的预训练好的模型参数，完成创建后再使用自己本地的数据集进行迁移训练automodelapi去官网上下载用户指定类型模型的configfile和modelfile，config说明了如何创建模型，model包括该模型的参数。automodelapi首先根据config去创建model类，再
kawlyh·2023-01-24 08:10

机器学习小白阅读笔记：深度学习时序预测模型 Temporal Fusion Transformers

机器学习笔记：深度学习时序预测模型TemporalFusionTransformers前言由于接触的时序预测问题基本都来自于数字化转型期的企业，我经常发现，在解决实际时序预测问题的时候，大部分时候还是用树模型结合特征工程的思路，关键点往往都在数据和特征工程上，如果想要使用深度学习，有时候客户的数据量不满足，有时候客户的生产环境不允许。我自己在一些时序预测问题，比如销量预测问题的比赛上，也做过一些尝
MetLightt·2023-01-24 08:39

Transformers学习笔记5

hugfacehub上不仅有预训练模型还有数据集下载数据集fromdatasetsimportload_datasetraw_datasets=load_dataset("glue","mrpc")raw_datasetsDatasetDict({train:Dataset({features:['sentence1','sentence2','label','idx'],num_rows:366
kawlyh·2023-01-24 08:39

Transformers学习笔记4

Tokenizernlp任务的输入都是rawtext，model的输入需要是inputsid，所以tokenzier将句子转换成inputsid，怎么转换呢，有3种方式：word-basedsplitthetext：按照空格来区分按照标点来区分我们会得到一个非常大的词表，EachwordgetsassignedanID,startingfrom0andgoinguptothesizeofthevo
kawlyh·2023-01-24 08:38

huggingface transformers包 文档学习笔记（持续更新ing...）

博文目录最近更新日期：2022.4.22最早更新日期：2022.2.17本文系huggingface（HuggingFace–TheAIcommunitybuildingthefuture.）旗下Python包transformers
诸神缄默不语·2023-01-24 08:38

人体姿态识别论文：End-to-End Trainable Multi-Instance Pose Estimation with Transformers翻译前半部分

摘要：提出了一个新的端到端可训练的多实例（multi-instance)姿态估计模型，其结合了CNN和Transformer。我们将多实例图像姿态估计作为直接集合预测问题。受最近关于Transformer端到端可训练的目标检测工作的启发，我们使用Transformer编码器-解码器架构和二部图匹配（bipartitematching）方案来直接回归给定图像中所有个体的姿态。我们的模型称为POseE
努力学习MATLAB·2023-01-24 07:36

【论文翻译】End-to-End Human Pose and Mesh Reconstruction with Transformers

【cvpr论文】End-to-EndHumanPoseandMeshReconstructionwithTransformers(thecvf.com)【github】microsoft/MeshTransformer:ResearchcodeforCVPR2021paper"End-to-EndHumanPoseandMeshReconstructionwithTransformers"(git
weixin_50862344·2023-01-24 07:35

论文笔记-End-to-End Human Pose and Mesh Reconstruction with Transformers（使用TransFormer进行端到端的人体姿态估计和网格重建）

代码和预训练模型：https://github.com/microsoft/MeshTransformer摘要：文章提出MEshTRansfOrmer（METRO）方法，用于从单个图像重建三维人体姿态和网格顶点。其中用到了注意力编码器来联合建模顶点-顶点和顶点-关节的交互，并同时输出三维关节坐标和网格顶点。介绍：复杂的关节运动和咬合带来了很多挑战。在这方面的工作分为两类①使用参数模型并学习预测形状
me盘子·2023-01-24 07:35

KeyBert关键词提取 ：原理、方法介绍、代码实践

2.2KeyBERT(model)2.3extract_keywords参数介绍3、代码实践3.1英文示例3.2中文示例4、加载不同的模型库4.1SentenceTransformers模型调用4.2Transformers
条件漫步·2023-01-21 22:05

Pytorch中数据集太大加载爆内存问题解决记录

我按照Transformers库官方文档里的Fine-tuningwithcustomdatasets一文中对BERT模型在IMDb数据集上Finetune的过程进行改写。
11好好学习，天天向上·2023-01-21 13:50

Hugging Face 的 Transformers 库快速入门 （三）必要的 Pytorch 知识

注：本系列教程仅供学习使用,由原作者授权,均转载自小昇的博客。文章目录前言Pytorch基础张量张量计算自动微分调整张量形状广播机制索引与切片降维与升维加载数据DatasetDataLoaders数据加载顺序和`Sampler`类批处理函数`collate_fn`训练模型构建模型优化模型参数保存及加载模型保存和加载模型权重保存和加载完整模型前言在上一篇《模型与分词器》中，我们介绍了Model类和T
liu_chengwei·2023-01-20 14:16

使用英特尔 Sapphire Rapids 加速 PyTorch Transformers 模型

大约一年以前，我们展示[1]了如何在第三代英特尔至强可扩展[2]CPU(即IceLake)集群上分布式训练HuggingFacetransformers模型。最近，英特尔发布了代号为SapphireRapids的第四代至强可扩展CPU，该CPU包含了令人兴奋的深度学习加速新指令。通过本文，你将会学到如何在一个AWSSapphireRapids集群上加速一个PyTorch训练任务。我们会使用英特尔o
·2023-01-20 08:30

成功安装transformers库，但使用时报错（numpy版本问题）

“因为我之前安装的是numpy1.6版本，卸载之后numpy-1.16.2.disk_info文件还存在，我删掉这个之后就能正常导入了。”参考：https://fishc.com.cn/thread-204258-1-1.html
发光的金子~·2023-01-19 15:59

transformers库使用踩坑记

今天打算开始试用一下ALBert，安装了transformers之后就一直报错。经过一晚上终于解决了报错。记录一下，给碰到相同问题的小朋友一点参考。
minima·2023-01-19 15:28

Datawhale八月组队学习--使用Transformers解决NLP任务(文本分类)--Day08-09

Datawhale八月组队学习之笔记系列文章：往期指路：Datawhale打卡小程序使用     Transformer图解     Bert&GPT图解     Bert知识笔记     Bert实践文章目录前言一、GLUE基准数据集介绍二、微调预训练模型进行文本分类1.加载数据2.数据预处理3.微调预训练模型4.超参数搜索总结前言  提示：详细代码指路：这里  本篇博客主要记录在学习《篇章4-
二进制研究员·2023-01-19 08:00

[Transformer]Transclaw U-Net: Claw UNet with Transformers for Medical Image Segmentation

TransClawUNet：ClawUNet结合Transformer用于医学图像分割AbstractSectionIIntroductionSectionIIRelatedWorksSectionIIIMethodPart1OverallStructurePart2TransformerinTransClawUNetSectionIVExperimentsComparisonResultsAbl
黄小米吖·2023-01-18 12:46

如何下载Hugging Face 模型（pytorch_model.bin, config.json, vocab.txt）以及如何在local使用

/lib/python3.6/site-packages/transformers/里，可以看到三个文件configuration_bert.py，modeling_bert.py，tokenization_bert.py
王椗·2023-01-18 12:31

Hugging（transformers）读取自定义 checkpoint、使用 Trainer 进行测试回归任务

需求说明训练过程在“HuggingFace(transformers)自定义图像数据集、使用DeiT模型、Trainer进行训练回归任务”中已经描述过。
悄悄地努力·2023-01-18 01:15

CodeGeeX：Tab 一下，代码生成！

一、原理模型CodeGeeX是一个基于transformers的大规模预训练编程语言模型。它是一个从左到右生成的自回归解码器，将代码或自然语言标识符（token）作为输入，预测下一个标识符的概率分布。
·2023-01-17 19:42

（含Transformers超细节知识点）...

最近复旦放出了一篇各种Transformer的变体的综述（重心放在对Transformer结构（模块级别和架构级别）改良模型的介绍），打算在空闲时间把这篇文章梳理一下：知乎：https://zhuanlan.zhihu.com/p/379057424arxiv：https://arxiv.org/abs/2106.04554Part1背景1Transformer的优点可并行弱归纳偏置，通用性强特征
风度78·2023-01-17 16:09

nlp-生成任务-摘要生成

如果您正在google的colab中打开这个notebook，您可能需要安装Transformers和Datasets库。将以下命令取消注释即可安装。!
꧁ᝰ苏苏ᝰ꧂·2023-01-17 13:38

HuggingFace (transformers) 自定义图像数据集、使用 DeiT 模型、Trainer 进行训练回归任务

资料HuggingFace官方文档：https://huggingface.co/HuggingFace代码链接：https://github.com/huggingface/transformers1
悄悄地努力·2023-01-17 13:34

Kaggle干货：自定义transformers数据集

transformers是现在NLP同学必备的库，但在使用的过程中主要的代码是需要自定义数据集，那么如何舒服的读取数据，并使用transformers进行训练模型呢？
风度78·2023-01-17 12:05

【论文速递】CVPR2022 - 全局跟踪Transformers

【论文速递】CVPR2022-全局跟踪Transformers【论文原文】：GlobalTrackingTransformers论文地址：https://arxiv.org/abs/2203.13250
N0thing2say·2023-01-17 12:30

BERT论文解读:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT相信热爱NLP的朋友都对BERT十分熟悉，google提出的这个模型在NLP的多项任务中都取得了惊人的成绩，是目前NLP领域最厉害的武器之一。本文会以原论文为基础来详细解读一下BERT的来龙去脉。在此声明一下，我并不会完全按照原论文的顺序进行解读，而是根据自己的理解来重点介绍我认为核心或者比较重要的部分。OK，我们开始。首先我们先来看一下论文的abstract部分的关于BERT的介绍。这句
胡小白的数据科学之路·2023-01-17 07:34

NLP学习笔记——BERT的一些应用（简记）

  本文内容中：挑出pytorch版的BERT相关代码，从代码结构、具体实现与原理，以及使用的角度进行分析Transformers版本：4.4.2（2021年3月19日发布）1.本节接着上节内容，本节具体内容
Mars-Express·2023-01-17 07:32

[原创]python计算中文文本相似度神器

这个包叫sentence-transformers。
yuanzhoulvpi·2023-01-16 09:53

python计算中文文本相似度神器 sentence_transformer、text2vec

python计算中文文本相似度神器importsysfromsentence_transformers.utilimportcos_simfromsentence_transformersimportSentenceTransformerasSBert
stay_foolish12·2023-01-16 08:19

sentence_transformers 微调模型

模型使用的是：uer/sbert-base-chinese-nli·HuggingFace使用sentencetransformer微调模型sentence_transformers官网：SentenceTransformersDocumentation—Sentence-Transformersdocumentation
是妖怪啊·2023-01-16 08:14

sentence-transformers(SBert)中文文本相似度预测(附代码)

前言训练文本相似度数据集并进行评估：sentence-transformers(SBert)预训练模型：chinese-roberta-wwm-ext数据集：蚂蚁金融文本相似度数据集前端：Vue2+elementui
我先润了·2023-01-16 08:10

灵感论文精读《End-to-End Multi-Person Pose Estimation with Transformers》

整理论文《End-to-EndMulti-PersonPoseEstimationwithTransformers》论文结构框架结构论文观点实现方法模型结构模型分析视觉特征编码器（VisualFeatureEncoder）姿态解码器（PoseDecoder）关节解码器（JointDecoder）损失函数（LossFunctions）对象关键点相似度损失（OKSloss）热图损失（Heatmaplo
阳阳的小笔记本·2023-01-16 08:09

2022年深度学习在时间序列预测和分类中的研究进展综述

时间序列预测的transformers的衰落和时间序列嵌入方法的兴起，还有异常检测、分类也取得了进步2022年整个领域在几个不同的方面取得了进展，本文将尝试介绍一些在过去一年左右的时间里出现的更有前景和关键的论文
deephub·2023-01-15 22:40

CS224N（2.21）Transformers and Self-Attention For Generative Models

转载自：https://bitjoy.net/2020/03/04/cs224n%ef%bc%882-21%ef%bc%89transformers-and-self-attention-for-generative-models
wangbo96·2023-01-15 18:17

论文学习《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

文章分为两部分，第一部分为论文《BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding》的学习，转自[NLP自然语言处理]谷歌BERT模型深度解析。第二部分是BERT相关论文、文章、代码推荐。一、前言最近谷歌搞了个大新闻，公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人
XB_please·2023-01-15 18:13

Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding

Abstract我们介绍了一种语言表达模型称为BERT，也就是Transformer的双边编码表示。与当前语言表达模型不同（Petersetal.,2018a;Radfordetal.,2018），BERT设计通过考虑所有层左右上下文对为标注过的文本进行深度双边表达的预训练。因此，预训练BERT模型可以通过只增加一个额外的输出层进行finetuned，从而在很多任务中得到SOTA模型，例如问答系统
abrams90·2023-01-15 18:13

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale——ViT

文章目录摘要Introduction相关工作方法VisionTransformer(ViT)Fine-TuningandHigherResolution（微调和高分辨率）实验Setup（实验设置）ComparisontoStateofTheArtPre-trainingdatarequirementsScalingStudy（扩展研究）InspectingVisionTransformerSelf
AcceptGo·2023-01-15 18:43

BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding

arxiv.org/pdf/1810.04805.pdfBERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding深度双向Transformers
DarrenXf·2023-01-15 18:43

论文推荐：谷歌Masked Generative Transformers 以更高的效率实现文本到图像的 SOTA

基于文本提示的生成图像模型近年来取得了惊人的进展，这得益于新型的深度学习架构、先进的训练范式(如掩码建模)、大量图像-文本配对训练数据的日益可用，以及新的扩散和基于掩码的模型的发展。在23年1月新发布的论文Muse中：MaskedGenerativeTransformers生成文本到图像利用掩码图像建模方法来达到了最先进的性能，零样本COCO评估的FID分数为7.88，CLIP分数为0.32——同
deephub·2023-01-15 18:12

transformers包介绍——nlp界最顶级的包——可以不用 但不能不知道——python包推荐系列

背景1现在在AI行业，什么最火？计算机视觉还是自然语言处理？其实不得不说，现在nlp很火。还有人记得上个月很多科技爱好者都在玩的chatgpt么？那个就是nlp技术的一大应用。现在都在觉得AI赚钱，工资高，然后很多人都想做一些事情、很多企业都想做一些事情，和AI挂钩的。现在AI里面算是比较有活力的，就是nlp领域。背景2经常能看到一些读者在群里问：“现在nlp方面的包，应该用什么？”“现在想做一个
yuanzhoulvpi·2023-01-15 07:34

论文阅读笔记--Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers

最近在阅读一些关于transformer的论文，在此记录是为了看看到底天天学了些什么。目前阅读这些论文感觉还是似懂非懂的阶段，还需要时间细细斟酌，共勉！RethinkingSemanticSegmentationfromaSequence-to-SequencePerspectivewithTransformers从序列到序列的角度重新思考语义分割1、介绍语义分割大多使用FCN（fully-con
远在远方_hh·2023-01-14 00:43

EfficientFormerV2 加速 ViT，更高效的移动端视觉模型

EfficientFormerV2加速ViT，更高效的移动端视觉模型出品人：Towhee技术团队顾梦佳EfficientFormerV2仿造卷积结构的MobileNet，对transformers进行一系列针对移动端加速的设计和优化
·2023-01-13 17:02

调用“抱抱脸团队打造的Transformers pipeline API” && 通过预训练模型，快速训练和微调自己的模型

官方链接直达：GitHub-huggingface/transformers:Transformers:State-of-the-artMachineLearningforPytorch,TensorFlow
Flying Bulldog·2023-01-13 16:34

TrackFormer: Multi-Object Tracking with Transformers

TrackFormer:Multi-ObjectTrackingwithTransformers简介模型介绍Transformer结构训练实验总结简介MOT传统的方法主要是遵循tracking-by-detection范式的，但是最近的方法中涌现出了一些tracking-by-regression范式，这种方法中，检测器不仅仅提供帧级的检测，更是将数据关联部分替换为每个轨迹到其变化位置的一个连续回
我其实一直都在·2023-01-13 15:32

论文推荐：谷歌Masked Generative Transformers 以更高的效率实现文本到图像的 SOTA

基于文本提示的生成图像模型近年来取得了惊人的进展，这得益于新型的深度学习架构、先进的训练范式(如掩码建模)、大量图像-文本配对训练数据的日益可用，以及新的扩散和基于掩码的模型的发展。在23年1月新发布的论文Muse中：MaskedGenerativeTransformers生成文本到图像利用掩码图像建模方法来达到了最先进的性能，零样本COCO评估的FID分数为7.88，CLIP分数为0.32——同
·2023-01-13 12:59

Huggingface Transformers库学习笔记（三）：使用Transformers（下）（Using Transformers Part 2）

HuggingfaceTransformers库学习笔记（三）：使用Transformers（UsingTransformersPart2）前言使用Transformers（UsingTransformers
11好好学习，天天向上·2023-01-13 08:50

使用Transformers 和 Tokenizers从头训练一个 language model

这是训练一个‘小’模型的demo(84Mparameters=6layers,768hiddensize,12attentionheads)–跟DistilBERT有着相同的layers&heads，语言不是英语，而是Esperanto。然后可以微调这个模型在下游的序列标注任务。下载数据集Esperanto的text语料：OSCARcorpus和LeipzigCorporaCollection总共
桂花很香,旭很美·2023-01-13 08:16
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他