TRANSFORMERS

transformers -- pipeline

参考：[NLP]transformers使用指南_文森特没有眼泪的博客-CSDN博客_transformers使用做记录方便自己看，希望大家去看原作者的，更简单易懂！！！
无脑敲代码，bug漫天飞·2023-11-27 22:44

transformers pipeline出现ConnectionResetError的解决方案

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了transformerspipeli
爱编程的喵喵·2023-11-27 22:40

【nlp】4.4 Transformer库的使用（管道模式pipline、自动模式auto，具体模型BertModel）

Transformer库的使用1了解Transformers库2Transformers库三层应用结构3管道方式完成多种NLP任务3.1文本分类任务3.2特征提取任务3.3完型填空任务3.4阅读理解任务
lys_828·2023-11-27 14:43

TinyViT: Fast Pretraining Distillation for Small Vision Transformers

PaperLink:https://arxiv.org/pdf/2207.10666.pdfcode:https://github.com/microsoft/Cream/tree/main/TinyViT概要1.基于IN-21K预训练TinyVit时使用快速蒸馏的方法，然后在IN-1K上微调，间接提高小模型对大数据的拟合能力；2.不同于传统vit-block的设计，提出分层vit-block模块
Dolly_DL·2023-11-27 13:03

Transformer论文阅读（三）：UNETR: Transformers for 3D Medical Image Segmentation

UNETR:Transformersfor3DMedicalImageSegmentation【Transformer用于3D医学图像分割】Abstract1Introduction2RelatedWork3Methodology3.1Architecture3.2LossFunction4Experiements4.1Datasets4.2ImplementationDetails4.3Quan
几夏经秋·2023-11-26 18:00

IVP 2021 UNETR: Transformers for 3D Medical Image Segmentation

动机具有跟踪和扩展路径的全卷积神经网络（FCNNs）（如编码器和解码器），近年来在各种医学图像分割应用中显示出了突出的地位。在这些体系结构中，编码器通过学习全局上下文表示来扮演一个不可或缺的角色，该全局上下文表示将进一步用于解码器的语义输出预测。卷积层作为FCNN的主要构造块，其局部性限制了此类网络学习长时空间依赖的能力。在NLP领域，基于transformer的模型已经在各种任务中实现了最先进的
smile909·2023-11-26 18:00

UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

目录UP-DETR:UnsupervisedPre-trainingforObjectDetectionwithTransformers论文简介论文主要贡献：实现方法：Single-QueryPatchMulti-QueryPatches实验结果：目标检测PanopticSegmentation（全景分割任务）消融实验编辑UP-DETR:UnsupervisedPre-trainingforObj
梦想的小鱼·2023-11-26 07:32

transformers中的data_collator

前言使用huggingface的Dataset加载数据集，然后使用过tokenizer对文本数据进行编码，但是此时的特征数据还不是tensor，需要转换为深度学习框架所需的tensor类型。data_collator的作用就是将features特征数据转换为tensor类型的dataset。本文记录huggingfacetransformers中两种比较常用的data_collator，一种是de
凯子要面包·2023-11-25 04:31

深度学习之九（Transformers）

Transformers是一种用于处理序列数据的深度学习模型，特别擅长于自然语言处理（NLP）任务。
贾斯汀玛尔斯·2023-11-24 18:34

【RNN+加密流量A】ET-BERT: A Contextualized Datagram Representation with Pre-training Transformers for...

文章目录论文简介摘要存在的问题论文贡献1.ET-BERT2.实验总结论文内容数据集可读的引用文献参考连接论文简介原文题目：ET-BERT:AContextualizedDatagramRepresentationwithPre-trainingTransformersforEncryptedTrafficClassification中文题目：ET-BERT：一种基于预训练转换器的数据报上下文化表示
过动猿·2023-11-23 18:49

NLP学习

从最开始的词袋模型，到RNN，到Transformers和BERT，再到ChatGPT，NLP经历了一段不断精进的发展道路。数据驱动和不断完善的端到端的模型架构是两大发展趋势。
wangqiaowq·2023-11-23 12:28

【论文精读】Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting文章目录【论文精读】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting博主前引前置知识：变量类别1.静态变量：2.动态变量：单步预测与
程序媛小哨·2023-11-22 19:54

[读论文]DiT Scalable Diffusion Models with Transformers

论文翻译ScalableDiffusionModelswithTransformers-CSDN博客论文地址：https://arxiv.org/pdf/2212.09748.pdf项目地址：GitHub-facebookresearch/DiT:OfficialPyTorchImplementationof"ScalableDiffusionModelswithTransformers"论文主页
计算机视觉-Archer·2023-11-22 17:08

Transformers库总体介绍

Transformers库是什么Transformers库是一个在自然语言处理（NLP）领域广泛使用的强大库，提供了一套全面的工具和预训练模型，用于执行各种NLP任务。
taoli-qiao·2023-11-22 10:21

Patcher: Patch Transformers with Mixture of Experts for Precise Medical Image Segmentation

ContextualTransformerNetworksforVisualRecognition1.摘要2.目的3.网络设计3.1OverallArchitecture3.2PatcherBlock3.3PatcherEncoder3.4MixtureofExpertsDecoder代码地址1.摘要Wepresentanewencoder-decoderVisionTransformerarch
库博酱·2023-11-22 09:55

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers

从Tokenizers库获得的tokenizers可以非常简单地加载到Transformers。
wwlsm_zql·2023-11-21 23:59

手把手带你在AutoDL上部署InternLM-Chat-7B Transformers

手把手带你在AutoDL上部署InternLM-Chat-7BTransformers调用项目地址：https://github.com/KMnO4-zx/self_llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~也可以自己提交PR！InternLM-Chat-7BTransformers部署调用环境准备在autoal平台中租一个3090等24G显存的显卡机器，如下图所示
Unicornlyy·2023-11-21 21:08

一种基于Transformers架构的线描述子

标题：LineasaVisualSentence:Context-awareLineDescriptorforVisualLocalization作者：SunghoYoon1andAyoungKim2∗开源地址:https://github.com/yosungho/LineTR本文主要记录的是LT描述子的构建过程LT描述子的优点：通过将线段视为句子，将点视为单词，提出了一种使用transform
qiuqiang1168·2023-11-20 23:10

【论文复现】QAFactEval: 《QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization》

NAACL2022）代码https://github.com/salesforce/QAFactEval本人的服务器：学校实验室服务器，不支持正常访问huggingface因为本论文的时间是2021年，当时使用的transformers
一饭名厨姚鲲鲲·2023-11-20 08:31

深入探究CNN和Transformer，哪种预训练模型的可迁移性更好？

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达深入探究ConvNetsvs.Transformers，哪种预训练模型的可迁移性更好？
Amusi（CVer）·2023-11-19 20:28

复旦大学邱锡鹏组最新综述：A Survey of Transformers！

作者|Tnil@知乎编辑|NewBeeNLP转眼Transformer模型被提出了4年了。依靠弱归纳偏置、易于并行的结构，Transformer已经成为了NLP领域的宠儿，并且最近在CV等领域的潜能也在逐渐被挖掘。尽管Transformer已经被证明有很好的通用性，但它也存在一些明显的问题，例如：核心模块自注意力对输入序列长度有平方级别的复杂度，这使得Transformer对长序列应用不友好。例如
人工智能与算法学习·2023-11-19 19:45

【RL+Transformer综述】A Survey on Transformers in Reinforcement Learning论文笔记

文章题目：ASurveyonTransformersinReinforcementLearning论文地址：论文地址来源：arxiv完成单位：清华大学、北京大学、BAAI、腾讯IntroductionTransformer结构能够建模长期的依赖关系，并且具有良好的伸缩性（可处理不同长度的序列数据）最初将Transformer运用到强化学习，是通过将自注意力应用到表征学习，来提取实体间的关系，从而更
Henry_Zhao10·2023-11-19 19:56

特征缩放和转换以及自定义Transformers（Machine Learning 研习之九）

特征缩放和转换您需要应用于数据的最重要的转换之一是功能扩展。除了少数例外，机器学习算法在输入数值属性具有非常不同的尺度时表现不佳。住房数据就是这种情况:房间总数约为6至39320间，而收入中位数仅为0至15间。如果没有任何缩放，大多数模型将倾向于忽略收入中位数，而更多地关注房间数。有两种常见的方法使所有属性具有相同的尺度:最小-最大尺度和标准化。与所有估计器一样，重要的是仅将标量拟合到训练数据:永
甄齐才·2023-11-19 09:50

Zero-Shot Text-to-Image Generation阅读笔记

Zero-ShotText-to-ImageGeneration方法目标：训练一个Transformers将文本和图像标记作为单个数据流进行自回归建模以往的解决办法：可能性目标倾向于优先考虑像素之间的短程依赖关系建模
小杨小杨1·2023-11-17 00:42

用Transformer端到端车道形状预测Lane Shape Prediction with Transformers

摘要主流做法（特征提取和后处理）比较有用，但无法学习车道线的细长结构，学习过程有瑕疵。本文提出的端到段方法可以直接输出车道线的形状参数，transformer可以学习全局信息和车道线独有的结构。引言提出了个数据集ForwardViewLane(FVL)。相关工作和PolyLaneNet类似的思路，在这项工作中，我们的方法也期望参数输出，但不同之处在于这些参数来自车道形状模型，该模型对道路结构和相机
Wincher_Fan·2023-11-16 11:39

利用 OpenVINO™ 部署 HuggingFace 预训练模型的方法与技巧

通过HuggingFace开源的Transformers,Diffusers库，只需要要调用少量接口函数，入门开发者也可以
英特尔开发人员专区·2023-11-15 22:36

全面了解大语言模型，这有一份阅读清单

鉴于Transformers对每个人的研究进程都有如此大的影响，本文将为大家介绍一个简短的阅读清单，供机器学习研究
zenRRan·2023-11-14 05:25

大模型是基于Transformer的基础架构，那Transformer的编码和解码，不是大模型必须具备的吗？为什么说bert是用的编码器，chatgpt用的解码器？

Transformers的基本架构包括编码器（Encoder）和解码器（Decoder），这两个组件通常在序列到序列（Seq2Seq）任务中一起使用，如机器翻译。
chunmiao3032·2023-11-13 03:18

ERROR: Could not build wheels for sentence_transformers, which is required to install pyproject.toml

ERROR:Couldnotbuildwheelsforsentence_transformers,whichisrequiredtoinstallpyproject.toml-basedprojects
杨杨杨Garrick·2023-11-12 20:13

【实验】SegViT: Semantic Segmentation with Plain Vision Transformers

想要借鉴SegViT官方模型源码部署到本地自己代码文件中1.环境配置官网要求安装mmcv-full=1.4.4和mmsegmentation=0.24.0在这之前记得把mmcv和mmsegmentation原来版本卸载pipuninstallmmcvpipuninstallmmcv-fullpipuninstallmmsegmentation安装mmcv其中，mmcv包含两个版本：一个是完整版mm
cccc楚染rrrr·2023-11-12 16:22

ViT：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 论文阅读

论文链接ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE0.AbstractTransformer在计算机视觉中的应用有限在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持它们的整体结构本文证明了这种对CNN的依赖是不必要的，并且直接应用于图像块序列的纯转换器可以在图像分类任务上表现得很好1
KrMzyc·2023-11-12 13:59

GPT2Config

作用：这是用于存储transformers.GPT2Model或transformers.TFGPT2Model的配置的配置类。它用于根据指定的参数实例化GPT-2模型，定义模型架构。
hibernate2333·2023-11-12 07:35

到底什么是几何深度学习？Twitter 首席科学家Bronstein深度解读

MrBear编辑|青暮前不久，帝国理工学院教授、Twitter首席科学家MichaelBronstein发表了一篇长达160页的论文，试图从对称性和不变性的视角从几何上统一CNNs、GNNs、LSTMs、Transformers
喜欢打酱油的老鸟·2023-11-12 06:27

transformers模型加载与seed随机状态

Transformers的模型加载会改变seed的随机状态这里使用了一个自己写的库进行测试：py-seeds（直接pip就可以安装，目前是0.0.2版本）importpy_seedsfromtransformersimportAutoModeldefstate_str
ziuno·2023-11-12 04:28

Transformers的RoBERTa model怎么使用word level的tokenizer

2022年8月25日更新：昨天改了tokenizer之后以为好了，结果发现还是有问题。具体来说，用后面方法训练的tokenizer，并不能被正确加载为RobertaTokenizerFast，会导致只对输入序列中的逗号进行编码。解决方法是：用类似于tokenizer.save(model_dir+'/wordlevel.json')这种形式将tokenizer保存成一个json文件，然后用Robe
蛐蛐蛐·2023-11-12 04:25

训练Bert、Robert、ALBert等的巨大坑

如下，我们在使用transformers包的get_linear_schedule_with_warmup()这个学习率预热API时，num_warmup_steps这个参数一定要设置为0，一定要设置为
SCU-JJkinging·2023-11-12 04:24

BERT等语言模型的BertForMaskedLM避的坑

在用transformers中的BertForMaskedLM来预测被mask掉的单词时一定要加特殊字符[CLS]和[SEP][CLS]和[SEP][CLS]和[SEP]。不然效果很差很差！！！
风吹草地现牛羊的马·2023-11-12 04:23

transformers安装避坑

这个我也不知道，你下了就对了，不然后面的transformers无法安装因为是windows到官网选择推荐的下载方式https://www.rust-lang.org/tools/install。
柴神·2023-11-12 04:51

《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》阅读笔记

论文标题《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》谷歌论文起名越来越写意了，“一幅图像值16X16个单词”是什么玩意儿。ATSCALE：说明适合大规模的图片识别，也许小规模的不好使作者来自GoogleResearch的Brain团队，经典的同等贡献。初读摘要Transformer体系结构现状：在NLP领域，Tr
AncilunKiang·2023-11-12 02:37

基于HF transformers的AI建模和训练实战

我们经常使用scikit-learn对监督学习和无监督学习任务的数据进行建模。我们熟悉面向对象的设计，例如启动类并从类中调用子函数。然而，当我个人使用PyTorch时，我发现与scikit-learn类似但又不一样的设计模式。在线工具推荐：Three.jsAI纹理开发包-YOLO合成数据生成器-GLTF/GLB在线编辑-3D模型格式在线转换-可编程3D场景编辑器1、PyTorch和transfor
新缸中之脑·2023-11-12 00:22

ChatGLM-中英对话大模型-6B试用说明

==1.4.3-fhttps://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.htmlpipinstallprotobuf==3.20.0transformers
lanmengyiyu·2023-11-10 16:15

hugging face transformers模型文件 config文件

模型的组成一般transformer模型有三个部分组成：1.tokennizer，2.Model，3.Postprocessing。如下图所示，图中第二层和第三层是每个部件的输入/输出以及具体的案例。我们可以看到三个部分的具体作用：Tokenizer就是把输入的文本做切分，然后变成向量，Model负责根据输入的变量提取语义信息，输出logits；最后PostProcessing根据模型输出的语义信
MyLuckyLife·2023-11-10 13:19

mac安装pytorch，使用transformers

condacreate-npytorch_envpython=3.9.16condaactivatepytorch_envcondainstallpytorchtorchvisiontorchaudio-cpytorchpipinstallrustpipinstalltokenizerspipinstalltransformers
静听山水·2023-11-10 13:49

【DL】第 7 章 ：用于音乐生成的Transformers和 MuseGAN

除了视觉艺术和创意写作一样，音乐创作是我们认为人类独有的另一种核心创造力行为。为了让机器创作出悦耳的音乐，它必须克服我们在上一章中看到的与文本相关的许多技术挑战。特别是，我们的模型必须能够学习并重新创建音乐的顺序结构，并且还必须能够从一组离散的可能性中选择后续音符。然而，音乐生成提出了文本生成不需要的额外挑战，即音高和节奏。音乐通常是复调的——也就是说，不同的乐器同时演奏几条音符流，它们结合起来产
Sonhhxg_柒·2023-11-10 08:10

解决 SSLError: HTTPSConnectionPool(host=‘huggingface.co‘, port=443)

看我的回答：https://github.com/huggingface/transformers/issues/17611#issuecomment-1794486960能问这个问题的都是网络不太好的
XD742971636·2023-11-09 19:37

部署你自己的OpenAI格式api，基于flask, transformers (使用 Baichuan2-13B-Chat-4bits 模型，可以运行在单张Tesla T4显卡)

项目地址：https://github.com/billvsme/my_openai_api单文件实现OpenAI格式api(包含流式响应)部署你自己的OpenAI格式api，基于flask,transformers
billvsme·2023-11-08 21:00

【Transformers-实践2】——Bert-CRF用于英语平坦实体（Flat NER）识别

本文是学习使用Huggingface的Transformers库的简单实践，我们简单的梳理一下模型的结构，以及具体的程序结构。
应有光·2023-11-06 22:45

Transformer：开源机器学习项目，上千种预训练模型 | 开源日报 No.66

huggingface/transformersStars:113.5kLicense:Apache-2.0这个项目是一个名为Transformers的开源机器学习项目，它提供了数千种预训练模型，用于在文本
开源服务指南·2023-11-06 13:39

【论文精读】PlanT: Explainable Planning Transformers via Object-Level Representations

1基本信息院校：德国的图宾根大学网站：https://www.katrinrenz.de/plant2论文背景2.1现有问题现在的基于学习的方法使用高精地图和BEV，认为准确的（达到像素级的pixel-level）场景理解是鲁棒的输出的关键。recoveringpixel-levelBEVinformationfromsensorinputs。2.2作者的想法作者认为这么丰富的信息是不必要的，仅仅
EEPI·2023-11-06 03:09

来自Transformers的双向编码器表示（BERT）

word2vec和GloVe等词嵌入模型与上下文无关。它们将相同的预训练向量赋给同一个词，而不考虑词的上下文（如果有的话）。它们很难处理好自然语言中的一词多义或复杂语义。对于上下文敏感的词表示，如ELMo和GPT，词的表示依赖于它们的上下文。ELMo对上下文进行双向编码，但使用特定于任务的架构（然而，为每个自然语言处理任务设计一个特定的体系架构实际上并不容易）；而GPT是任务无关的，但是从左到右编
流萤数点·2023-11-06 03:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他