transformers 第6页

【论文精读】Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting文章目录【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting博主前引前置知识：变量类别1.静态变量：2.动态变量：单步预测与

程序媛小哨·2023-11-22 19:54

[读论文]DiT Scalable Diffusion Models with Transformers

论文翻译ScalableDiffusionModelswithTransformers-CSDN博客论文地址：https://arxiv.org/pdf/2212.09748.pdf项目地址：GitHub-facebookresearch/DiT:OfficialPyTorchImplementationof"ScalableDiffusionModelswithTransformers"论文主页

计算机视觉-Archer·2023-11-22 17:08

Transformers库总体介绍

Transformers库是什么Transformers库是一个在自然语言处理（NLP）领域广泛使用的强大库，提供了一套全面的工具和预训练模型，用于执行各种NLP任务。

taoli-qiao·2023-11-22 10:21

Patcher: Patch Transformers with Mixture of Experts for Precise Medical Image Segmentation

ContextualTransformerNetworksforVisualRecognition1.摘要2.目的3.网络设计3.1OverallArchitecture3.2PatcherBlock3.3PatcherEncoder3.4MixtureofExpertsDecoder代码地址1.摘要Wepresentanewencoder-decoderVisionTransformerarch

库博酱·2023-11-22 09:55

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers

从Tokenizers库获得的tokenizers可以非常简单地加载到Transformers。

wwlsm_zql·2023-11-21 23:59

手把手带你在AutoDL上部署InternLM-Chat-7B Transformers

手把手带你在AutoDL上部署InternLM-Chat-7BTransformers调用项目地址：https://github.com/KMnO4-zx/self_llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~也可以自己提交PR！InternLM-Chat-7BTransformers部署调用环境准备在autoal平台中租一个3090等24G显存的显卡机器，如下图所示

Unicornlyy·2023-11-21 21:08

一种基于Transformers架构的线描述子

标题：LineasaVisualSentence:Context-awareLineDescriptorforVisualLocalization作者：SunghoYoon1andAyoungKim2∗开源地址:https://github.com/yosungho/LineTR本文主要记录的是LT描述子的构建过程LT描述子的优点：通过将线段视为句子，将点视为单词，提出了一种使用transform

qiuqiang1168·2023-11-20 23:10

【论文复现】QAFactEval: 《QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization》

NAACL2022）代码https://github.com/salesforce/QAFactEval本人的服务器：学校实验室服务器，不支持正常访问huggingface因为本论文的时间是2021年，当时使用的transformers

一饭名厨姚鲲鲲·2023-11-20 08:31

深入探究CNN和Transformer，哪种预训练模型的可迁移性更好？

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达深入探究ConvNetsvs.Transformers，哪种预训练模型的可迁移性更好？

Amusi（CVer）·2023-11-19 20:28

复旦大学邱锡鹏组最新综述：A Survey of Transformers！

作者|Tnil@知乎编辑|NewBeeNLP转眼Transformer模型被提出了4年了。依靠弱归纳偏置、易于并行的结构，Transformer已经成为了NLP领域的宠儿，并且最近在CV等领域的潜能也在逐渐被挖掘。尽管Transformer已经被证明有很好的通用性，但它也存在一些明显的问题，例如：核心模块自注意力对输入序列长度有平方级别的复杂度，这使得Transformer对长序列应用不友好。例如

人工智能与算法学习·2023-11-19 19:45

【RL+Transformer综述】A Survey on Transformers in Reinforcement Learning论文笔记

文章题目：ASurveyonTransformersinReinforcementLearning论文地址：论文地址来源：arxiv完成单位：清华大学、北京大学、BAAI、腾讯IntroductionTransformer结构能够建模长期的依赖关系，并且具有良好的伸缩性（可处理不同长度的序列数据）最初将Transformer运用到强化学习，是通过将自注意力应用到表征学习，来提取实体间的关系，从而更

Henry_Zhao10·2023-11-19 19:56

特征缩放和转换以及自定义Transformers（Machine Learning 研习之九）

特征缩放和转换您需要应用于数据的最重要的转换之一是功能扩展。除了少数例外，机器学习算法在输入数值属性具有非常不同的尺度时表现不佳。住房数据就是这种情况:房间总数约为6至39320间，而收入中位数仅为0至15间。如果没有任何缩放，大多数模型将倾向于忽略收入中位数，而更多地关注房间数。有两种常见的方法使所有属性具有相同的尺度:最小-最大尺度和标准化。与所有估计器一样，重要的是仅将标量拟合到训练数据:永

甄齐才·2023-11-19 09:50

Zero-Shot Text-to-Image Generation阅读笔记

Zero-ShotText-to-ImageGeneration方法目标：训练一个Transformers将文本和图像标记作为单个数据流进行自回归建模以往的解决办法：可能性目标倾向于优先考虑像素之间的短程依赖关系建模

小杨小杨1·2023-11-17 00:42

用Transformer端到端车道形状预测Lane Shape Prediction with Transformers

摘要主流做法（特征提取和后处理）比较有用，但无法学习车道线的细长结构，学习过程有瑕疵。本文提出的端到段方法可以直接输出车道线的形状参数，transformer可以学习全局信息和车道线独有的结构。引言提出了个数据集ForwardViewLane(FVL)。相关工作和PolyLaneNet类似的思路，在这项工作中，我们的方法也期望参数输出，但不同之处在于这些参数来自车道形状模型，该模型对道路结构和相机

Wincher_Fan·2023-11-16 11:39

利用 OpenVINO™ 部署 HuggingFace 预训练模型的方法与技巧

通过HuggingFace开源的Transformers,Diffusers库，只需要要调用少量接口函数，入门开发者也可以

英特尔开发人员专区·2023-11-15 22:36

全面了解大语言模型，这有一份阅读清单

鉴于Transformers对每个人的研究进程都有如此大的影响，本文将为大家介绍一个简短的阅读清单，供机器学习研究

zenRRan·2023-11-14 05:25

大模型是基于Transformer的基础架构，那Transformer的编码和解码，不是大模型必须具备的吗？为什么说bert是用的编码器，chatgpt用的解码器？

Transformers的基本架构包括编码器（Encoder）和解码器（Decoder），这两个组件通常在序列到序列（Seq2Seq）任务中一起使用，如机器翻译。

chunmiao3032·2023-11-13 03:18

ERROR: Could not build wheels for sentence_transformers, which is required to install pyproject.toml

ERROR:Couldnotbuildwheelsforsentence_transformers,whichisrequiredtoinstallpyproject.toml-basedprojects

杨杨杨Garrick·2023-11-12 20:13

【实验】SegViT: Semantic Segmentation with Plain Vision Transformers

想要借鉴SegViT官方模型源码部署到本地自己代码文件中1.环境配置官网要求安装mmcv-full=1.4.4和mmsegmentation=0.24.0在这之前记得把mmcv和mmsegmentation原来版本卸载pipuninstallmmcvpipuninstallmmcv-fullpipuninstallmmsegmentation安装mmcv其中，mmcv包含两个版本：一个是完整版mm

cccc楚染rrrr·2023-11-12 16:22

ViT：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 论文阅读

论文链接ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE0.AbstractTransformer在计算机视觉中的应用有限在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持它们的整体结构本文证明了这种对CNN的依赖是不必要的，并且直接应用于图像块序列的纯转换器可以在图像分类任务上表现得很好1

KrMzyc·2023-11-12 13:59

GPT2Config

作用：这是用于存储transformers.GPT2Model或transformers.TFGPT2Model的配置的配置类。它用于根据指定的参数实例化GPT-2模型，定义模型架构。

hibernate2333·2023-11-12 07:35

到底什么是几何深度学习？Twitter 首席科学家Bronstein深度解读

MrBear编辑|青暮前不久，帝国理工学院教授、Twitter首席科学家MichaelBronstein发表了一篇长达160页的论文，试图从对称性和不变性的视角从几何上统一CNNs、GNNs、LSTMs、Transformers

喜欢打酱油的老鸟·2023-11-12 06:27

transformers模型加载与seed随机状态

Transformers的模型加载会改变seed的随机状态这里使用了一个自己写的库进行测试：py-seeds（直接pip就可以安装，目前是0.0.2版本）importpy_seedsfromtransformersimportAutoModeldefstate_str

ziuno·2023-11-12 04:28

Transformers的RoBERTa model怎么使用word level的tokenizer

2022年8月25日更新：昨天改了tokenizer之后以为好了，结果发现还是有问题。具体来说，用后面方法训练的tokenizer，并不能被正确加载为RobertaTokenizerFast，会导致只对输入序列中的逗号进行编码。解决方法是：用类似于tokenizer.save(model_dir+'/wordlevel.json')这种形式将tokenizer保存成一个json文件，然后用Robe

蛐蛐蛐·2023-11-12 04:25

训练Bert、Robert、ALBert等的巨大坑

如下，我们在使用transformers包的get_linear_schedule_with_warmup()这个学习率预热API时，num_warmup_steps这个参数一定要设置为0，一定要设置为

SCU-JJkinging·2023-11-12 04:24

BERT等语言模型的BertForMaskedLM避的坑

在用transformers中的BertForMaskedLM来预测被mask掉的单词时一定要加特殊字符[CLS]和[SEP][CLS]和[SEP][CLS]和[SEP]。不然效果很差很差！！！

风吹草地现牛羊的马·2023-11-12 04:23

transformers安装避坑

这个我也不知道，你下了就对了，不然后面的transformers无法安装因为是windows到官网选择推荐的下载方式https://www.rust-lang.org/tools/install。

柴神·2023-11-12 04:51

《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》阅读笔记

论文标题《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》谷歌论文起名越来越写意了，“一幅图像值16X16个单词”是什么玩意儿。ATSCALE：说明适合大规模的图片识别，也许小规模的不好使作者来自GoogleResearch的Brain团队，经典的同等贡献。初读摘要Transformer体系结构现状：在NLP领域，Tr

AncilunKiang·2023-11-12 02:37

基于HF transformers的AI建模和训练实战

我们经常使用scikit-learn对监督学习和无监督学习任务的数据进行建模。我们熟悉面向对象的设计，例如启动类并从类中调用子函数。然而，当我个人使用PyTorch时，我发现与scikit-learn类似但又不一样的设计模式。在线工具推荐：Three.jsAI纹理开发包-YOLO合成数据生成器-GLTF/GLB在线编辑-3D模型格式在线转换-可编程3D场景编辑器1、PyTorch和transfor

新缸中之脑·2023-11-12 00:22

ChatGLM-中英对话大模型-6B试用说明

==1.4.3-fhttps://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.htmlpipinstallprotobuf==3.20.0transformers

lanmengyiyu·2023-11-10 16:15

hugging face transformers模型文件 config文件

模型的组成一般transformer模型有三个部分组成：1.tokennizer，2.Model，3.Postprocessing。如下图所示，图中第二层和第三层是每个部件的输入/输出以及具体的案例。我们可以看到三个部分的具体作用：Tokenizer就是把输入的文本做切分，然后变成向量，Model负责根据输入的变量提取语义信息，输出logits；最后PostProcessing根据模型输出的语义信

MyLuckyLife·2023-11-10 13:19

mac安装pytorch，使用transformers

condacreate-npytorch_envpython=3.9.16condaactivatepytorch_envcondainstallpytorchtorchvisiontorchaudio-cpytorchpipinstallrustpipinstalltokenizerspipinstalltransformers

静听山水·2023-11-10 13:49

【DL】第 7 章：用于音乐生成的Transformers和 MuseGAN

除了视觉艺术和创意写作一样，音乐创作是我们认为人类独有的另一种核心创造力行为。为了让机器创作出悦耳的音乐，它必须克服我们在上一章中看到的与文本相关的许多技术挑战。特别是，我们的模型必须能够学习并重新创建音乐的顺序结构，并且还必须能够从一组离散的可能性中选择后续音符。然而，音乐生成提出了文本生成不需要的额外挑战，即音高和节奏。音乐通常是复调的——也就是说，不同的乐器同时演奏几条音符流，它们结合起来产

Sonhhxg_柒·2023-11-10 08:10

解决 SSLError: HTTPSConnectionPool(host=‘huggingface.co‘, port=443)

看我的回答：https://github.com/huggingface/transformers/issues/17611#issuecomment-1794486960能问这个问题的都是网络不太好的

XD742971636·2023-11-09 19:37

部署你自己的OpenAI格式api，基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型，可以运行在单张Tesla T4显卡)

项目地址：https://github.com/billvsme/my_openai_api单文件实现OpenAI格式api(包含流式响应)部署你自己的OpenAI格式api，基于flask,transformers

billvsme·2023-11-08 21:00

【Transformers-实践2】——Bert-CRF用于英语平坦实体（Flat NER）识别

本文是学习使用Huggingface的Transformers库的简单实践，我们简单的梳理一下模型的结构，以及具体的程序结构。

应有光·2023-11-06 22:45

Transformer：开源机器学习项目，上千种预训练模型 | 开源日报 No.66

huggingface/transformersStars:113.5kLicense:Apache-2.0这个项目是一个名为Transformers的开源机器学习项目，它提供了数千种预训练模型，用于在文本

开源服务指南·2023-11-06 13:39

【论文精读】PlanT: Explainable Planning Transformers via Object-Level Representations

1基本信息院校：德国的图宾根大学网站：https://www.katrinrenz.de/plant2论文背景2.1现有问题现在的基于学习的方法使用高精地图和BEV，认为准确的（达到像素级的pixel-level）场景理解是鲁棒的输出的关键。recoveringpixel-levelBEVinformationfromsensorinputs。2.2作者的想法作者认为这么丰富的信息是不必要的，仅仅

EEPI·2023-11-06 03:09

来自Transformers的双向编码器表示（BERT）

word2vec和GloVe等词嵌入模型与上下文无关。它们将相同的预训练向量赋给同一个词，而不考虑词的上下文（如果有的话）。它们很难处理好自然语言中的一词多义或复杂语义。对于上下文敏感的词表示，如ELMo和GPT，词的表示依赖于它们的上下文。ELMo对上下文进行双向编码，但使用特定于任务的架构（然而，为每个自然语言处理任务设计一个特定的体系架构实际上并不容易）；而GPT是任务无关的，但是从左到右编

流萤数点·2023-11-06 03:37

BERT：来自 Transformers 的双向编码器表示 – 释放深度上下文化词嵌入的力量

BERT是Transformers双向编码器表示的缩写，是2018年推出的改变游戏规则的NLP模型之一。BERT的情感分类、文本摘要和问答功能使其看起来像是一站式NLP模型。

TD程序员·2023-11-06 03:06

10 DETR 论文精读【论文精读】End-to-End Object Detection with Transformers

DETR这篇论文，大家为什么喜欢它？为什么大家说它是一个目标检测里的里程碑式的工作？而且为什么说它是一个全新的架构？大家好，今天我们来讲一篇ECCV20的关于目标检测的论文。它的名字想必大家都不陌生，也就这两年火热的DETR，其实就是detectionTransformer的缩写。这篇论文当时在2020年5月第一次挂到arxiv上的时候，就引起了CV圈的强烈反响，网上很多人都觉得这篇论文应该是EC

云淡风轻__·2023-11-05 20:26

论文阅读—— BiFormer(cvpr2023)

CVPR2023]Officialcodereleaseofourpaper"BiFormer:VisionTransformerwithBi-LevelRoutingAttention"一、介绍1、要解决的问题：transformers

じんじん·2023-11-05 09:53

Transformers使用教程

模型参数下载数据集查找Transformers中文使用说明Huggingface超详细介绍-知乎HuggingFace的Transformers库快速入门文档说明Transformers提供文本相关的预训练模型

来路与归途·2023-11-05 09:03

NLP学习1 - 使用Huggingface Transformers框架从头训练语言模型

摘要由于huaggingface放出了Tokenizers工具，结合之前的transformers，因此预训练模型就变得非常的容易，本文以学习官方example为目的，由于huggingface目前给出的

逆旅ROS·2023-11-03 22:35

利用python GPT-2写一个机器学习模型开发案例

以下是详细的步骤：1.安装所需库首先，我们需要安装一些必要的库，如TensorFlow、numpy和transformers。

田晖扬·2023-11-03 19:45

transformers库使用--模型构建

orangerfun·2023-11-03 02:12

【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

【论文阅读】BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding前言BERT是Google于2018年提出的NLP预训练技术，全称是BidirectionalEncoderRepresentationsfromTransformers，直译可以理解为双向Transformer的Enocder。你可能听说过B

EmoryHuang·2023-11-02 22:58

ModuleNotFoundError: No module named ‘transformers.models.mmbt‘

使用simpletransformers时出现ModuleNotFoundError:Nomodulenamed'transformers.models.mmbt’错误。

hj_caas·2023-11-02 08:29

解决‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘，无需重装transformers和torch

如https://github.com/baichuan-inc/Baichuan2/issues/204中所说：修改下tokenization_baichuan.py，把super()修改到最后执行self.vocab_file=vocab_fileself.add_bos_token=add_bos_tokenself.add_eos_token=add_eos_tokenself.sp_mo

夏离·2023-11-01 18:10

Py之sentence-transformers：sentence-transformers的简介、安装、使用方法之详细攻略

Py之sentence-transformers：sentence-transformers的简介、安装、使用方法之详细攻略目录sentence-transformers的简介1、一些亮点包括2、可以使用此框架进行以下用途

一个处女座的程序猿·2023-11-01 02:46

推荐频道

transformers