Transformers》第4页

Garry1248·2023-12-24 21:04

【llm使用】ChatGLM3-6B Transformers部署调用

文章目录环境准备模型下载代码准备部署说明：本文转自国内开源组织datawhale的repo：self-llm环境准备在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8接下来打开刚刚租用服务器的JupyterLab，并且打开其中的终端开始环境配置、模型下载和运行demo。pip换源和安装依赖包#升级

自律版光追·2023-12-24 11:47

【Stable Diffusion Inpainting】环境配置

name:ldmdependencies:-pip:--egit+https:或者pipinstall-egit+https://github.com/CompVis/taming-transformers.git

prinTao·2023-12-24 08:54

LLaMA开源大模型源码分析！

Datawhale干货作者：宋志学，Datawhale成员花了一晚上照着transformers仓库的LLaMA源码，把张量并行和梯度保存的代码删掉，只留下模型基础结构，梳理了一遍LLaMA的模型结构。

Datawhale·2023-12-23 16:17

再见卷积神经网络，使用 Transformers 创建计算机视觉模型

本文旨在介绍/更新Transformers背后的主要思想，并介绍在计算机视觉应用中使用这些模型的最新进展。读完这篇文章，你会知道……为什么Transformers在NLP任务中的表现优于SOTA模型。

AAI机器之心·2023-12-23 14:13

image caption 必看论文，模型整理

基础模型transformers-attentionisallyouneed细节笔记论文笔记几个重点1.架构图2.attention原理attention机制中的query,key,value的概念解释

MIngo的成长·2023-12-23 01:16

vit-transfomers 逐段精读

VisionTransformerExplained|PapersWithCode有趣的特性在cnn中处理的不太好，但是在transformers都能处理的很好的例子。

MIngo的成长·2023-12-23 01:16

启动百川大模型错误解决：ModuleNotFoundError: No module named ‘bitsandbytes‘

1.错误信息Traceback(mostrecentcalllast):File"/root/.cache/huggingface/modules/transformers_modules/Baichuan2

危险、·2023-12-22 13:25

【Python】傻瓜式玩转创意：用Python和GPT打造微头条AI写作

2.开发环境搭建使用Python，安装GPT模型相关库（如transformers），确保网络连接良好，以便在线调用预训练模型。pipinstalltransformers3.编写Python脚本

半抹灯芯·2023-12-22 13:11

2024 年 8 个顶级开源 LLM（大语言模型）

LLM基于transformers（一种强大的神经架构）是用于建模和处理人类语言的AI系统。它们之所以被称为“大”，是因为它们有数亿甚至数十亿个参数，这些参数是使用大量文本数据语料库预先训练的。

yule.yang·2023-12-22 07:28

Web ML 库的Transformers.js 提供文本转语音功能

JavaScript库Transformers.js提供了类似PythonTransformers库的功能，设计用于在Web浏览器中直接运行Transformer模型，而不再需要外部服务器参与处理。

xiangzhihong8·2023-12-21 11:40

[Big Bird]论文解读：Big Bird: Transformers for Longer Sequences

文章目录1介绍2模型架构3结果论文：BigBird:TransformersforLongerSequences作者：ManzilZaheer,GuruGuruganesh,AvinavaDubey,JoshuaAinslie,ChrisAlberti,SantiagoOntanon,PhilipPham,AnirudhRavula,QifanWang,LiYang,AmrAhmed时间：2021

Bigcrab__·2023-12-20 14:30

【论文阅读笔记】A Recent Survey of Vision Transformers for Medical Image Segmentation

KhanA,RaufZ,KhanAR,etal.ARecentSurveyofVisionTransformersforMedicalImageSegmentation[J].arXivpreprintarXiv:2312.00634,2023.【论文概述】本文是关于医学图像分割中视觉变换器（VisionTransformers，ViTs）的最新综述。文中详细回顾了ViTs及其与卷积神经网络（CN

cskywit·2023-12-19 05:51

文本处理工具doctran（集成LLM和NLP库）

该工具也可以在LangChain框架document_transformers模块内使用。（本质上是对LLM和NLP库的封装）G

hj_caas·2023-12-17 23:04

python unpack原理_Python transformers.Unpack方法代码示例

本文整理汇总了Python中fuel.transformers.Unpack方法的典型用法代码示例。如果您正苦于以下问题：Pythontransformers.Unpack方法的具体用法？

摄影师吴亚轩·2023-12-17 21:36

Windows11安装python模块transformers报错Long Path处理

Windows11安装python模块transformers报错，报错信息如下ERROR:CouldnotinstallpackagesduetoanOSError:[Errno2]Nosuchfileordirectory

!chen·2023-12-17 21:34

Re57：读论文 Mention Memory: incorporating textual knowledge into Transformers through entity mention at

诸神缄默不语-个人CSDN博文目录诸神缄默不语的论文阅读笔记和分类论文名称：MentionMemory:incorporatingtextualknowledgeintoTransformersthroughentitymentionattention模型名称：TOME(TransformerOverMentionEncodings)ArXiv网址：https://arxiv.org/abs/21

诸神缄默不语·2023-12-17 15:41

Dialogue Transformers：如何解决医学大模型【偏离主诉和没抓住核心】，建立抗干扰的能力，使得发现用户问题会一追到底？

DialogueTransformers：实现抗干扰能力的对话模型抗干扰能力基于Transformer的实现技术优化目标抗干扰能力前置知识：从【注意力机制】开始，到【Transformer】的零基础【大模型】系列DialogueTransformers论文地址：https://arxiv.org/pdf/1910.00486.pdf医学大模型的一个问题：偏离主诉和没抓住核心，顶级医生发现用户问题会

Debroon·2023-12-17 07:26

揭开机器学习转换器架构的神秘面纱

自2017年推出以来，转换器（Transformers）已成为机器学习领域的一支突出力量，彻底改变了专业翻译和自动完成服务的能力。

c++服务器开发·2023-12-16 19:06

机器学习入门

它开源了许多机器学习需要的基础组件如：Transformers,Tokenizers等。

liuzhenghua66·2023-12-15 20:36

huggingface transformers框架个人记录

预备工作创建虚拟环境：condacreate-nmyenv#创建condaactivatemyenv#激活安装transformers包pipinstallgit+https://github.com/

小趴菜日记·2023-12-15 10:37

扩散模型学习（三）

TextEncoder）3.UNet4.调度器（Scheduler）5.采样循环三、其他管线1.Img2Img2.In-Painting3.Depth2Image一、StableDiffusion使用首先安装必要的库，transformers

李明朔·2023-12-06 18:51

RNN、Seq2Seq、Transformers：NLP 中常用的神经架构简介

循环神经网络是一类神经架构，具有很酷的特性——循环机制——这使得它们成为处理可变长度的顺序数据的自然选择。与标准神经网络不同，RNN可以在接受新输入的同时保留前一层的信息。这是它的工作原理假设我们正在构建一个电子商务聊天机器人，由一个处理文本的RNN和一个预测其背后意图的前馈网络组成。机器人收到这条消息：“嗨！你们这件衬衫有不同颜色吗？”我们有11个单词（11个单词嵌入）作为输入，并且序列被切成标

wouderw·2023-12-06 05:27

【读点论文】A survey of the Vision Transformers and its CNN-Transformer based Variants近年来这个方向的文献阅读记录

AsurveyoftheVisionTransformersanditsCNN-TransformerbasedVariantsAbstract视觉Transformer作为卷积神经网络(cnn)的可能替代品，在各种计算机视觉应用中越来越受欢迎。这些transformer能够专注于图像中的全局关系，提供了很大的学习能力。然而，它们可能会受到有限的泛化，因为它们不倾向于模拟图像中的局部相关性。近年来

羞儿·2023-12-05 23:02

transformers tokenizer.encode_plus() 的padding=True踩的坑

简略总结：当做单句子任务时，padding=True是错误的，它不会做padding。而pad_to_max_length=True的效果和padding='max_length'是等价的。但是pad_to_max_length=True会报warning，提示将在后续版本中移除，建议使用padding='max_length'。转载：transformerstokenizer.encode_pl

不当菜鸡的程序媛·2023-12-05 17:18

[Bert]论文实现：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

EfficientGraph-BasedImageSegmentation一、完整代码二、论文解读2.1模型架构2.2输入层MaskedLMEmbedding2.3BERT架构层2.4输出层NSPCLS2.5BERT微调三、过程实现3.1导包3.2数据准备3.3模型建立3.4模型训练四、整体总结论文：BERT:Pre-trainingofDeepBidirectionalTransformersf

Bigcrab__·2023-12-04 13:06

动手制作个人电脑对话机器人transformers+DialoGPT

简介：DialoGPT是一个对话模型，由微软基于GPT-2训练。由于DialoGPT在对话数据上进行了预训练，所以它比原始的GPT-2更擅长生成类似对话的文本。DialoGPT的主要目标是生成自然且连贯的对话，而不是在所有情况下都提供事实上的正确答案。此外，由于模型的预训练数据主要是英文，因此它可能无法很好地处理中文输入。在运行代码之前，请确保已经安装了HuggingFace的Transforme

玩转测试开发·2023-12-04 06:29

Google Colab 现已支持直接使用 transformers 库

GoogleColab，全称Colaboratory，是GoogleResearch团队开发的一款产品。在Colab中，任何人都可以通过浏览器编写和执行任意Python代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab是一种托管式Jupyter笔记本服务。用户无需设置，就可以直接使用，同时还能获得GPU等计算资源的免费使用权限。通过与Colab团队的共同努力，Colab托管的运

Hugging Face·2023-12-03 16:50

Hugging “Hugging Face“

后来他们为Google的BERT模型做了一个pytorch版的开源实现，得到了社区的广泛认可，并由此逐步开发出了Transformers库。

colorknight·2023-12-03 14:05

huggingface使用预训练模型入门

huggingface使用预训练模型入门huggingface的官方文档的地址：https://huggingface.co/docs/transformers/quicktour。

wenjurongyu·2023-12-03 13:47

大模型的实践应用11-“书生”通用大模型的搭建与模型代码详细介绍，以及快速使用方法

InternLM-7B模型主要是基于transformers架构中的解码器开发改造的，架构中运用RMSNorm归一化方法、RotaryEmbed

微学AI·2023-12-02 20:32

[AI] 在 huggingface transformers新增自定义token

为什么要向词汇表添加token？在大多数情况下，您不会从头开始训练一个大型语言模型，而是在新数据上微调现有模型。通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。例如，法律或医疗文件。虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这些tokenizers一般是透过切分更小的subtoken来处理未知的新词。这样可以处理文本，但以这种方式一些

AlgorithmWillBeFine·2023-12-02 10:35

[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现

HugginFaceTransforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA,GPT,ChatGLMMoss，等。目前基本上主流的方案都是基于HugginFaceTransforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。如ChatGLM，自己实现的流式输出如下：#chatglm-6bmodel/modeling_chatglm.py@torc

AlgorithmWillBeFine·2023-12-02 10:58

对 Vision Transformers 及其基于 CNN-Transformer 的变体的综述

AsurveyoftheVisionTransformersanditsCNN-TransformerbasedVariants摘要1、介绍2、vit的基本概念2.1patch嵌入2.2位置嵌入2.2.1绝对位置嵌入(APE)2.2.2相对位置嵌入(RPE)2.2.3卷积位置嵌入(CPE)2.3注意力机制2.3.1多头自我注意(MSA)2.4Transformer层2.4.1Feed-forwar

毕竟是shy哥·2023-12-02 09:27

让EntityManager的Query返回Map对象

参考：1、让JPA的Query返回Map对象2、setResultTransformer(Transformers.ALIAS_TO_ENTITY_MAP)在JPA2.0中我们可以使用entityManager.createNativeQuery

justsosomm·2023-12-02 06:22

论文学习-BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

LearningBERTArticle参考链接Thegoodsiteforlearning:https://lena-voita.github.io/nlp_course.html#whats_inside_lecturesOnlineVideo李沐老师https://www.youtube.com/watch?v=ULD3uIb2MHQBERT:BidirectionalEncoderRepre

老叭美食家·2023-12-01 12:02

论文学习-Bert 和GPT 有什么区别？

FoundationModels,Transformers,BERTandGPT总结一下：Bert是学习向量表征，让句子中某个词的Embedding关联到句子中其他重要词。

老叭美食家·2023-12-01 12:28

Transformers实战——文本相似度

aJupyter·2023-12-01 04:42

AI模型训练——入门篇（一）

前言一文了解NLP，并搭建一个简单的Transformers模型（含环境配置）一、HuggingFace与NLP自从ChatGPT3问世以来的普及性使用，大家或许才真正觉察AI离我们已经越来越近了，自那之后大家也渐渐的开始接触

MonsterQy·2023-11-30 19:25

AI模型训练——入门篇（二）

导语：本文主要介绍了基于BERT的文本分类方法，通过使用huggingface的transformers库实现自定义模型和任务。

MonsterQy·2023-11-30 19:52

时间序列异常检测14篇顶会论文合集，附必备工具和数据集

在最近几年中，时序异常检测的发展非常活跃，例如Transformers在时间序列预测

深度之眼·2023-11-30 19:43

大模型的实践应用9-利用LoRA方法在单个GPU上微调FLAN-T5模型的过程讲解与实现

我们将利用Transformers、Accelerate和PEFT等第三方库。1.设置开发环境这里我使用已设置好的CUDA驱动程序，安装PyTorc

微学AI·2023-11-30 09:28

手把手教你在AutoDL上部署Qwen-7B-hat Transformers 部署调用

手把手带你在AutoDL上部署Qwen-7B-hatTransformers调用项目地址：https://github.com/datawhalechina/self-llm.git如果大家有其他模型想要部署教程，可以来仓库提交issue哦~也可以自己提交PR！如果觉得仓库不错的话欢迎star！！！InternLM-Chat-7BTransformers部署调用环境准备在autoal平台中租一个3

Unicornlyy·2023-11-29 23:10

Huggingface 超详细介绍

Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来

WitsMakeMen·2023-11-29 11:20

Cross-View Transformers for Real-Time Map-View Semantic Segmentation 论文阅读

论文链接Cross-ViewTransformersforReal-TimeMap-ViewSemanticSegmentation0.Abstract提出了Cross-ViewTransformers，一种基于注意力的高效模型，用于来自多个摄像机的地图视图语义分割使用相机感知的跨视图注意机制隐式学习从单个相机视图到规范地图视图表示的映射该架构由每个视图的卷积图像编码器和跨视图变换层组成，以推断地

KrMzyc·2023-11-29 07:55

HuggingFace模型训练以及推理相关

handsome_new·2023-11-29 01:32

生成式深度学习(第二版)-译文-第九章-Transformers (II)

……接上篇博文(第九章-Transformers(I))TransformerBlock一个TransformerBlock是指Transformer中应用了一些跳跃连接，前向(全连)层，以及围绕多头注意力层归一化的单个

Garry1248·2023-11-28 15:27

生成式深度学习(第二版)-译文-第九章-Transformers (I)

章节目标:了解GPT的起源，一种用于文本生成的强大解码器Transformer。从概念上了解注意力机制是如何模拟人类的注意力:对句子中某些词比其他关注更多。从第一性原理出发深入了解注意力机制是如何工作的，包括queries，keys以及values是如何创建和操作的。知道因果掩膜在文本生成任务上的重要性。理解注意力头(attentionheads)如何聚集到多头注意力层(multiheadatte

Garry1248·2023-11-28 15:56

中美合拍，把我笑到头掉

英文名，《NEZHA:TRANSFORMERS》。活久见。曾经，我们还以为它只是古老的传言。没想到它说到做到。今天午饭时间，Sir没把持住自己的好奇心，点开。看完了。来。

Sir电影·2023-11-28 14:15

Transformers库pipeline API的使用

使用pipelineAPI来快速使用一些预训练模型使用预训练模型最简单的方法就是使用pipeline()，transformers提供了一些任务：1、情感分类（SentmentClassification

Serendipity-垚·2023-11-27 22:48

推荐频道

Transformers》

图像识别中的 Vision Transformers (ViT)