transformers 第3页

【论文笔记】VideoGPT: Video Generation using VQ-VAE and Transformers

论文标题：VideoGPT:VideoGenerationusingVQ-VAEandTransformers论文代码：https://wilson1yan.github.io/videogpt/index.html.论文链接：https://arxiv.org/abs/2104.10157发表时间：2021年9月Abstract作者提出了VideoGPT：一种概念上简单的架构，用于将基于似然的生

来自γ星的赛亚人·2024-01-26 06:48

VideoGPT：使用VQ-VAE和Transformers的视频生成

1TitleVideoGPT:VideoGenerationusingVQ-VAEandTransformers（WilsonYan，YunzhiZhang，PieterAbbeel，AravindSrinivas）2ConlusionThispaperpresentVideoGPT:aconceptuallysimplearchitectureforscalinglikelihoodbasedg

umbrellazg·2024-01-26 06:16

本地以图搜图软件xiSearch-flet

本地以图搜图软件xiSearch-flet简介使用sentence_transformers+flet实现项目地址：https://github.com/xjhqre/xiSearch-flet使用说明

xjhqre·2024-01-26 04:15

AttributeError: ‘NoneType‘ object has no attribute ‘flush‘

问题描述当你的项目中使用了transformers库，并且使用pyinstaller打包无控制台窗口的程序时就会报这个错。

xjhqre·2024-01-26 04:45

pyinstaller打包Transformers 报错No such file or directory

问题描述Traceback(mostrecentcalllast):File"transformers\utils\import_utils.py",line1086,inget_moduleFile"importlib_init.py

xjhqre·2024-01-26 04:45

书生·浦语大模型训练营

书生·浦语大模型训练营2InternLM-Chat-7B智能对话Demo本章就是通过transformers载入本地模型进行推理。原始的demo会导致空输入也会进行交互，浪费计算资源。

__y__·2024-01-25 08:57

使用Transformers做基于BERT的情感六分类

版本：python==3.8.6torch==1.10.0transformers==4.36.2datasets==2.15.0fromtransformersimportBertTokenizerfromtorch.utils.dataimportDataLoader

Shy960418·2024-01-25 07:56

使用Transformers微调基于BERT模型做中文命名实体识别任务

python==3.8.6torch==1.10.0transformers==4.36.2datasets==2.15.0importjson#数据集下载地址：https://www.cluebenchmarks.com

Shy960418·2024-01-25 07:56

安装sentence-transformers

点击此处可访问SBERT官方代码(GitHub)在安装sentence-transformers之前需要确保以下条件：WerecommendPython3.6orhigher,PyTorch1.6.0orhigherandtransformersv4.6.0orhigher.ThecodedoesnotworkwithPython2.7

竹霖聴雨·2024-01-25 06:53

chatglm部署问题

问题：ModuleNotFoundError:Nomodulenamed‘transformers_modules.’解决方法：卸载重装pipuninstalltransformerspipinstalltransformers-ihttps

Y3pro·2024-01-23 20:31

Transformers在数据量不足时，训练不能很好地泛化

"Transformers缺乏CNN固有的一些归纳偏置(inductivebiases)——如平移等效性和局部性(translationequivarianceandlocality)，因此在数据量不足时

pythonSuperman·2024-01-23 10:31

机器学习算法实战案例：使用 Transformer 进行时间序列预测

LLMs成功的关键在于它们的核心构建模块，即transformers。在本文中，我们将提供一个在PyTorch中使用它们的完整指南，特别关注时间序列预测。

Python算法实战·2024-01-23 09:56

基于 GPT 和 Qdrant DB 向量数据库，我构建了一个电影推荐系统

Python算法实战·2024-01-22 10:00

pipeline内部发生了什么?(PyTorch)

前言参考说明过程说明前言最近一直疑惑HuggingFace的Transformers库中的pipeline函数的具体是干了什么，多方询问以及翻看了HuggingFace的官方说明，终于是弄清楚了其原理，

yuQnY·2024-01-22 10:16

Hugging Face公司和模型测评榜单简单介绍

HuggingFace提供了一个名为Transformers的开源库，这个库为开发者和研究人员提供了一系列预训练模型，以及用于训练和微调这些模型的工具。

人生万事须自为，跬步江山即寥廓。·2024-01-22 00:22

GroupMixFormer：Advancing Vision Transformers with Group-Mix Attention论文学习笔记

论文地址：https://arxiv.org/pdf/2311.15157.pdf代码地址：https://github.com/AILab-CVC/GroupMixFormer摘要：ViT已被证明可以通过使用多头自注意力（MHSA）对远程依赖关系进行建模来增强视觉识别，这通常被表述为Query-Key-Value计算。但是，从“Query”和“Key”生成的注意力图仅捕获单个粒度的token-t

athrunsunny·2024-01-21 19:40

论文阅读【SWINBERT: End-to-End Transformers with Sparse Attention for Video Captioning】

SWINBERT:End-to-EndTransformerswithSparseAttentionforVideoCaptioning发表：CVPR2022idea：之前的方法都是使用其他任务上训练的特征提取器对video进行特征提取，所提取的特征可能与视频描述任务并不是绝对的匹配，即特征提取不参与训练。这篇文章的作者提出使用transformer对原生视频进行特征提取，然后再进行解码，实现端到

hei_hei_hei_·2024-01-21 12:38

AgentFormer: Agent-Aware Transformers for Socio-Temporal Multi-Agent Forecasting

摘要预测多个智能体的准确未来轨迹对于自治系统至关重要，但由于智能体之间复杂的相互作用以及每个智能体未来行为的不确定性，这是一个挑战。预测多智能体轨迹需要对两个关键维度进行建模:(1)时间维度，我们对过去的智能体状态对未来状态的影响进行建模；(2)社会维度，我们对每个主体的状态如何影响他人进行建模。大多数现有方法分别对这两个维度建模，例如，首先使用时间模型独立地总结每个代理随时间变化的特征，然后用社

学号高并发·2024-01-20 19:46

[Transformer]Lesion-Aware Transformers for Diabetic Retinopathy Grading

Lesion-AwareTransformersforDiabeticRetinopathyGradingAbstractSectionIIntroductionSectionIIRelatedWorkSectionIIILesion-AwareTransformerNetworkPart1OverviewPart2PixelRelationbasedEncoderPart3LesionFilte

黄小米吖·2024-01-20 19:15

Hardware-Aware Transformers (HAT)——Transformer模型的NAS策略

Paper地址:https://arxiv.org/abs/2005.14187Github:GitHub-mit-han-lab/hardware-aware-transformers:[ACL2020

Law-Yao·2024-01-20 19:15

HAT: Hardware-Aware Transformers for Efficient Natural Language Processing论文解读

Hardware-AwareTransformersforEfficientNaturalLanguageProcessingcode:https://github.com/mit-han-lab/hardware-aware-transformers1

leo0308·2024-01-20 19:44

Hardware-Aware-Transformers开源项目笔记

文章目录Hardware-Aware-Transformers开源项目笔记开源项目背景知识nas进化算法进化算法代码示例开源项目EvolutionarySearch1生成延迟的数据集2训练延迟预测器3使延时约束运行搜索算法

清风2022·2024-01-20 19:14

手写GPT实现小说生成(一)

做一个小说续写器，即只需要给出一些文本，让模型帮你续写，主要内容包含：模型编写训练适配小说的中文分词器将小说按固定大小拆分生成数据集拆分训练/测试集训练体验小说续写效果同时结合HuggingFace的transformers

愤怒的可乐·2024-01-20 10:55

NLP | 自然语言处理经典seq2seq网络BERT详解及代码

Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingBERT：用于语言理解的深度双向变换器的预训练论文地址：https://arxiv.org/abs/1810.048051.BERT概述BERT是Transformers

夏天｜여름이다·2024-01-19 17:54

机器学习与ML.NET–NLP与BERT

目录1.先决条件2.理解Transformers架构3.BERT直觉4.ONNX模型5.使用ML.NET实现5.1数据模型5.2训练该训练类是相当简单，它只有一个方法BuildAndTrain它使用的路径

寒冰屋·2024-01-19 17:21

用通俗易懂的方式讲解：LLM 大模型的 generate 和 chat 函数有什么区别？

在HuggingFace的transformers库中，GPT（GenerativePre-trainedTransformer）类的模型有两个常用的生成文本的方法：generate和chat。

Python算法实战·2024-01-19 16:43

Hugging Face怎么通过国内镜像去进行模型下载（hf-mirror.com）

该公司最著名的产品是Transformers库，这是一个广泛使用的Python库，它提供了大量预训练模型，如BERT、GPT-2、T5和其他模型，这些模型可以用于各种NLP任务，如文本分类、情感分析、文本生成等

星宇星静·2024-01-19 04:18

【论文笔记】Do Transformers Really Perform Bad for Graph Representation（简要笔记供复习使用）

DoTransformersReallyPerformBadforGraphRepresentation论文地址：DoTransformersReallyPerformBadforGraphRepresentation一句话paper：利用度，最短路径增强的GraphTransformerMotivation原有将transformer应用于图的效果并不好节点重要性，图结构性信息往往在目前的工作中

好想变有钱535·2024-01-18 07:28

python协同过滤算法实现电影推荐

下面是一个简单的Python代码实现电影推荐的协同过滤算法：importnumpyasnp#电影评分数据ratings={'Alice':{'Transformers':3,'StarWars':4,'

酷爱码·2024-01-17 11:21

目标检测DETR：End-to-End Object Detection with Transformers

NMS对一个目标生成了多个检测窗口，但是事实上这些窗口中大部分内容都是重复的，找到目标检测最优的窗口选取多个检测窗口中分数最高的窗口，剔除掉其他同类型的窗口anchorgenerator首先在该点生成scale=512,aspectratio={1:2，1:1，2:1}的三个anchor，size分别为{362x724,512x512,724x362}。中心点坐标{8,8}，原图和P6之间的高宽s

发呆哥o_o ....·2024-01-17 06:18

ImportError**: cannot import name ‘COMMON_SAFE_ASCII_CHARACTERS‘ from ‘charset_normalizer.constant‘

cannotimportname‘COMMON_SAFE_ASCII_CHARACTERS’from‘charset_normalizer.constant’解决办法condainfo--env查看环境查看后发现缺少transformers

苹果就叫不呐呐·2024-01-17 06:41

【论文阅读笔记】MedTransformer: Accurate AD Diagnosis for 3D MRI Images through 2D Vision Transformers

arxiv，12Jan2024这篇文章思想较简单，用于诊断阿尔兹莫，这里概述一下。【核心思想】采用2D视觉Transformer分析3DMRI图像。它通过将3D图像切割成多个2D切片，并应用基于2DTransformer的模型，克服了3D模型在复杂性和效率方面的限制。该方法具有跨维度的共享编码器、特定维度的编码器以及注意力机制，以提高诊断的准确性和效率。这个模型在诊断阿尔茨海默病方面表现出强大的性

cskywit·2024-01-17 01:20

智能助手的巅峰对决：ChatGPT对阵文心一言

ChatGPT，是一个基于大型变换模型（Transformers）的交互式文本生成系统，它在各种话题上都能给出引人入胜的回答。无论是深奥的科学问题还是日常的闲聊，Ch

一尘之中·2024-01-16 17:03

哈哈哈哈调试模型记录2

好了，是transformers的版本太高了。。直接重装一个低一点的就行。我重装了3.0.2的。

橘子333·2024-01-16 16:06

【AIGC入门一】Transformers 模型结构详解及代码解析

Transformers开启了NLP一个新时代，注意力模块目前各类大模型的重要结构。作为刚入门LLM的新手，怎么能不感受一下这个“变形金刚的魅力”呢？

不想动脑筋的亮亮·2024-01-16 15:59

Transformers 中原生支持的量化方案概述

转载自：https://huggingface.co/blog/zh/overview-quantization-transformers文章目录资源bitsandbytes与auto-gptq之比较bitsandbytes

小然爱看·2024-01-16 15:20

作业（2）

基础作业：复现课程知识库助手搭建过程(截图)配置好前面的环境后，下载sentence-transformers模型向量数据库的构建与固定：构建web端的代码最终出现的效果与互动进阶作业：选择一个垂直领域

亲爱的阿基米德^·2024-01-15 21:13

LLM模型的generate和chat函数区别

在HuggingFace的transformers库中，GPT（GenerativePre-trainedTransformer）类的模型有两个常用的生成文本的方法：generate和chat。

NLP工程化·2024-01-15 11:35

从DETR到Mask2former(2): 损失函数loss function

首先，从huggingface的transformers库中拿出detrsegmen

河北一帆·2024-01-14 19:26

SpringJPA的entityManager执行原生SQL

不然查询结果都是大写映射不上实体字段Stringsql="select\"id\",\"name\"fromtableNamewhereid=:id"//构造查询和返回结果到指定VO，返回到map就用Transformers.ALIAS_TO_ENTITY_MAPNativeQueryImplementornativeQuery

爱窦·2024-01-14 17:33

[论文精读]Large-scale Graph Representation Learning of Dynamic Brain Connectome with Transformers

论文网址：[2312.14939]Large-scaleGraphRepresentationLearningofDynamicBrainConnectomewithTransformers(arxiv.org)英文是纯手打的！论文原文的summarizingandparaphrasing。可能会出现难以避免的拼写错误和语法错误，若有发现欢迎评论指正！文章偏向于笔记，谨慎食用！又见面了ProfKi

夏莉莉iy·2024-01-14 13:32

在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers

写在前面xFormers是FaceBookResearch（Meta）开源的使用率非常高的Transformers加速选型，当我们使用大模型的时候，如果启用xFormers组件，能够获得非常明显的性能提升

soulteary·2024-01-14 10:20

如何生成文本: 通过 Transformers 用不同的解码方法生成文本

如何生成文本:通过Transformers用不同的解码方法生成文本假设$p=0.92$，Top-p采样对单词概率进行降序排列并累加，然后选择概率和首次超过$p=92%$的单词集作为采样池，定义为$V_{

vitaminYZZ·2024-01-13 21:07

Python解决方案：transformers模块没有LLaMATokenizer属性

Python解决方案：transformers模块没有LLaMATokenizer属性在使用transformers模块时，有可能会出现“AttributeError:moduletransformershasnoattributeLLaMATokenizer

UIEdit·2024-01-13 19:05

大模型学习与实践笔记（五）

一、环境配置1.huggingface镜像下载sentence-transformers开源词向量模型importos#设置环境变量os.environ['HF_ENDPOINT']='https://

AllYoung_362·2024-01-12 20:14

Huggingface的Trainer类无法将日志写到logging文件中

在训练时想把这个信息也写到logging文件中在training_args中设置参数：training_args=transformers.TrainingArguments(logging_steps

cpopttt·2024-01-12 14:44

text-generation-webui加载codellama报错DLL load failed while importing flash_attn_2_cuda: 找不到指定的模块。

codellama，报错：Traceback(mostrecentcalllast):File"C:\Users\Ma\AppData\Roaming\Python\Python310\site-packages\transformers

cpopttt·2024-01-12 14:11

在Hugging Face上下载并使用Bert-base-Chinese

HuggingFaceHuggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来

little pierce·2024-01-11 14:59

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等。

代码讲故事·2024-01-11 11:55

计算机视觉下的数据增强代码实现

数据增强的实现使用经典的pytorch框架下的torchvision.transformers对计算机视觉进行增强的代码实现。使用下面的图像进行数据增强，相应的效果图如下所示！

Algorithm_Engineer_·2024-01-10 13:18

推荐频道

transformers