transformers

LLM推理入门实践：基于 Hugging Face Transformers 和 vLLM

文章目录1.HuggingFace模型下载2.HuggingFaceTransformers库模型推理3.关于prompt的组成：system、user、assistant4.vLLM模型推理vLLM的多卡推理踩坑1.HuggingFace模型下载模型在HuggingFace下载，如果下载速度太慢，可以在HuggingFace镜像网站或ModelScope进行下载。使用HuggingFace的下载

ctrl A_ctrl C_ctrl V·2025-06-27 17:57

使用Hugging Face的Sentence Transformers进行文本嵌入

概述HuggingFace的SentenceTransformers是一种用于生成文本和图像嵌入的Python框架，提供了最新的技术。这个框架可以通过HuggingFaceEmbeddings类来使用嵌入模型。尽管它功能强大，但在本地运行可能会受到操作系统和其他因素的影响，因此推荐给有经验的用户使用。核心原理解析SentenceTransformers基于BERT等深度学习模型，通过转化输入文本为

2501_92325368·2025-06-26 11:34

从零到一RedisVL 安装与运行全攻略

·2025-06-23 03:16

llamafactory 微调模型出现TypeError: argument of type ‘NoneType‘ is not iterable

问题介绍本文作者碰到的问题是File“/root/miniconda3/lib/python3.12/site-packages/transformers/modeling_utils.py”,line1969

成都犀牛·2025-06-22 14:19

深度解析 ImportError: cannot import name AdamW from transformers——从报错原理到完美解决方案

在自然语言处理(NLP)领域，HuggingFace的transformers库已成为事实上的标准工具。

Tadas-Gao·2025-06-22 12:35

RedisVL CLI 用一行命令玩转向量索引

1.环境准备步骤命令说明安装核心库pipinstall-UredisvlPython≥3.8可选：安装向量化器pipinstallredisvl[all]自带sentence-transformers等依赖启动本地

Hello.Reader·2025-06-21 22:11

【大模型开发】Hugging Face的Transformers库详解介绍与案例

深入解析HuggingFaceTransformers及开源大模型微调实践HuggingFaceTransformers已成为自然语言处理（NLP）乃至多模态（跨语言、图像、音频等）应用中最为流行、功能最完备的开源框架之一。它将主流的预训练模型（如BERT、GPT、T5、VisionTransformer等）统一整合在同一套API下，并提供了丰富的工具支持快速训练、推理与部署。本篇文章将：介绍Hu

云博士的AI课堂·2025-06-21 11:01

run docker 报错的解决办法！

miniconda$dockerrun--rm-v$(pwd)/output:/app/outputmodelscope-video/usr/local/lib/python3.8/dist-packages/transformers

微信公众号：AI创造财富·2025-06-20 16:19

ROCm上来自Transformers的双向编码器表示（BERT）

14.8.来自Transformers的双向编码器表示（BERT）—动手学深度学习2.0.0documentation(d2l.ai)代码importtorchfromtorchimportnnfromd2limporttorchasd2l

109702008·2025-06-20 15:46

大模型——大模型应用开发实战

太年轻了，huggingface、transformers、torch、tokenizers、langchain、modelscop

不二人生·2025-06-15 23:28

Hugging Face基础入门

Transformers库全景图HuggingFace与深度学习的融合安装Transformers与Datasets第一个Pipeline程序：一行代码跑大模型在CPU、GPU上运行的区别pipeline

·2025-06-11 21:45

【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）

目录一、引言二、图像分类（image-classification）2.1概述2.2技术原理2.3应用场景2.4pipeline参数2.4.1pipeline对象实例化参数2.4.2pipeline对象使用参数2.4pipeline实战2.5模型排名三、总结一、引言pipeline（管道）是huggingfacetransformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（A

LDG_AGI·2025-06-11 17:43

【RAG召回】bge实现向量相似度索引

sentence-transformers是一个非常强大的Python框架，它可以将句子或段落转换成高质量、高信息密度的数字向量（称为“嵌入”或Embeddings）。

weixin_37763484·2025-06-09 00:06

SD模型转换之safetensors转为bin，解决safety_checker 报错问题

前言最近同事给发了一个SD的任务，去评测一下效果，对于第一次接触的小白来说一脸懵，遇到了很多问题，写这篇帮大家排坑，自己也方便记录转换模型在转模型之前，我们需要装几个包diffusors，transformers

致命扼腕·2025-06-08 11:04

架构师炼丹炉 | 大语言模型引擎全解析：Transformers、vLLM、Llama.cpp、SGLang、MLX 和 Ollama

原文链接：大语言模型引擎全解析：Transformers、vLLM、Llama.cpp、SGLang、MLX和Ollama本文将带你深入了解Transformers、vLLM、Llama.cpp、SGLang

双木的木·2025-06-07 18:39

使用deepSeek-8B-Transformers开发本地接口

1.使用HuggingFaceTransformers代码案例（首次加载模型较慢（约5-10分钟）。）importtorchprint(torch.__version__)#例如2.0.1print(torch.cuda.is_available())#必须返回True#使用HuggingFace（需GPU）model_name="app/utils/DeepSeek-R1-Distill-Lla

技术支持者python，php·2025-06-07 15:52

【AI】大语言模型引擎全解析：Transformers、vLLM、Llama.cpp、SGLang、MLX 和 Ollama，最佳选择？

本文将带你深入了解Transformers、vLLM、Llama.cpp、SGLang、MLX和Ollama这些引擎，帮助你找到最适合的工具，释放大语言模型的全部潜力！作为技术人员，不仅

厦门德仔·2025-06-07 12:02

LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别（二）

加载微调后的模型：使用HuggingFace的transformers库加载微调后的模型和图片处理器。图片预处理：对待识

anneCoder·2025-06-07 12:30

huggingface 使用和模型微调

简介HuggingFace技术生态全景解析一、技术架构解析1.核心组件构成Transformers库：提供统一API支持30+架构的预训练模型加载，核心抽象类包括AutoModel、AutoTokenizer

Psycho_MrZhang·2025-06-07 04:35

SFT实战微调Gemma

1.运行环境搭建：虚拟环境实验要求：python3.10及以上版本pytorch1.12及以上版本，推荐2.0及以上版本建议使用CUDA11.4及以上transformers>=4.38.0请务必采用上面的环境

原味奶茶_三分甜·2025-06-06 22:53

Transformer学习资料

AttentionIsAllYouNeed》（Transformer原始论文）Transformer学习资源视频教程：B站中文视频：Transformer详解中文教程：GitHub项目：learn-nlp-with-transformers

司南锤·2025-06-03 23:56

qwen 2.5 并行计算机制：依靠 PyTorch 和 Transformers 库的分布式能力

qwen2.5并行计算机制：依靠PyTorch和Transformers库的分布式能力完整可运行代码：importtorchimporttorch.nn.functionalasFfromtransformers

ZhangJiQun&MXP·2025-06-02 16:03

Sentence Transformers 教程！

SentenceTransformers专注于句子和文本嵌入，支持超过100种语言。利用深度学习技术，特别是Transformer架构的优势，将文本转换为高维向量空间中的点，使得相似的文本在几何意义上更接近。语义搜索：构建高效的语义搜索系统，找到最相关的查询结果。信息检索与重排：在大规模文档集合中查找相关文档并重新排序。聚类分析：将文本自动分组，发现隐藏的主题或模式。摘要挖掘：识别和提取文本的主要

小森( ﹡ˆoˆ﹡ )·2025-05-31 21:59

SentenceTransformer简单使用

可用于文本和图像的相似度对比查找等#SentenceTransformer官网地址https://www.sbert.net/#安装SentenceTransformerpipinstall-Usentence-transformers

MasonYyp·2025-05-31 21:58

sentence_transformers安装

目录安装：测试引用：报新错：sentence_transformers安装：pipinstallsentence_transformers测试引用：python-c"fromsentence_transformersimportSentenceTransformer

AI算法网奇·2025-05-31 20:26

目标检测：Deformable DETR: Deformable Transformers for End-to-End Object Detection【方法解读】

可以查看B站视频（讲的很详细，对照下文内容进行视频观看，效果更佳）：（1）DeformableDETR|1、Abstract算法概述（2）DeformableDETR|2、backbone、MultiHeadAttention公式讲解（3）DeformableDETR｜3、DeformableAttention、MSDeformAttention、流程讲解摘要DETR最近被提出以消除许多手工设计的

沉浸式AI·2025-05-31 17:34

论文阅读：Deformable DETR: Deformable Transformers for End-to-End Object Detection

论文阅读：DeformableDETR:DeformableTransformersforEnd-to-EndObjectDetectionDeformableDETR:基于稀疏空间采样的注意力机制，让DCN与Transformer一起玩！-知乎(zhihu.com)【DeformableDETR论文+源码解读】DeformableTransformersforEnd-to-EndObjectDe

fishfuck·2025-05-31 17:01

Transformers 库 Tokenizer 高级用法解析：从文本预处理到模型输入的一站式解决方案

Transformers库提供的TokenizerAPI集成了分词、ID转换、填充、截断及框架张量适配等核心功能，能够高效生成符合模型输入要求的数据结构。

佑瞻·2025-05-28 19:09

clipSeg 图像分割，简单了解一下

请帮我介绍一下：clipSeg这个库1.起源，作者，名气，star2.clipSeg与huggingface和transformers是什么关系3.clipSeg与clip有什么区别，4.作用，效果5.

waterHBO·2025-05-27 14:12

深度解析 Hugging Face Transformers 模型加载：从基础到优化的全流程实战

今天我们就来深入探讨Transformers的模型加载技术，从基础用法到内存优化，解锁丝滑开发体验。

佑瞻·2025-05-27 11:22

【程序员AI入门：应用】11.从零构建智能问答引擎：LangChain + RAG 实战优化指南

一、技术选型与核心组件解析1.1黄金技术栈选型组件推荐方案核心优势资源需求文本嵌入模型sentence-transformers/all-MiniLM-L6-v2轻量级（128MB）、支持多语言语义编码

无心水·2025-05-24 08:27

（中转及国内）其他Embedding嵌入模型的配置与使用

配置步骤安装必要包安装langchain-huggingfaceLangChain团队基于huggingface封装的第三方社区包安装sentence-transformers用于生成和使用预训练的文本嵌入基于

yibuapi_com·2025-05-23 11:34

多头自注意力机制—Transformer模型的并行特征捕获引擎

Transformers-论文+源码：https://download.csdn.net/

Stara-AI·2025-05-18 19:20

Transformer中的位置编码详解

Transformers使用的位置编码方法，其中每个位置/词素都被分配一个编号。到此，位置编码的输出是一个矩阵，其中每行的每一

风筝超冷·2025-05-15 01:46

BUG: 加载部分sentence transformers模型报错HFValidationError: Repo_id must be in the form repo_name

没耐心看的直接跳到最后的加粗字体，其实是缺少文件。解释：以bge-m3为例，除了常见的config.json、pytorch_model.bin等等外还需要下载1_Pooling文件夹，里面包含了一个config.json，这是sentencetransformers模型中的pooling层。这是下载1_Pooling文件夹后的加载输出，没有异常情况。fromsentence_transforme

the_3rd_bomb·2025-05-12 13:35

《AI大模型应知应会100篇》第53篇：Hugging Face生态系统入门

本文将深入介绍HuggingFace生态系统的核心组件，包括Transformers、Datasets、Tokenizers和Hub平台

带娃的IT创业者·2025-05-11 12:56

开源python-打包发布

python开源系列文章开源Python-单元测试开源python-文档撰写开源python-代码规范与检查开源python-打包发布开源python-自动集成开源python-向transformers

YueTann·2025-05-10 11:38

在Mac M1/M2上使用Hugging Face Transformers进行中文文本分类（完整指南）

在MacM1/M2上使用HuggingFaceTransformers进行中文文本分类（完整指南）前言随着AppleSilicon芯片（M1/M2）的普及，越来越多的开发者希望在Mac上运行深度学习任务。本文将详细介绍如何在MacM1/M2设备上使用HuggingFaceTransformers库进行中文文本分类任务，包括环境配置、数据处理、模型训练和性能优化等完整流程。环境准备1.硬件和系统要求

zeroporn·2025-05-10 08:22

探索视频分类的新境界：`video-transformers`

video-transformersvideo-transformersEasiestwayoffine-tuningHuggingFacevideoclassificationmodels项目地址:https://gitcode.com/gh_mirrors/vi/video-transformers

高慈鹃Faye·2025-05-09 20:58

深入解析 Transformers 框架（五）：嵌入（Embedding）机制和 Word2Vec 词嵌入模型实战

微信公众号：老牛同学公众号标题：深入解析Transformers框架（五）：嵌入（Embedding）机制和Word2Vec词嵌入模型实战公众号链接：https://mp.weixin.qq.com/s

老牛同学·2025-05-09 09:14

AI 学习笔记：在 Macbook M1上对 DeepSeek进行无 GPU 环境下的 SFT微调，Transformers+LoRA，已跑通并出结果。

一、背景通用模型除了挂载知识库，去回答垂类问题以外，还有就是做SFT的微调，而大多数人其实是没有英伟达显卡的，但又挡不住学习的渴望，还想在老旧的电脑上去尝试微调，而我翻看了很多教程，都没有一个完整能够完全跑通的完整案例，决定一定要整一个出来。二、目标在没有专业显卡的普通笔记本上去做Deepseek的微调，将它由一个通用模型改造为能够回答专业医疗问题的模型。它的特点是：微调电脑只有集成显卡，纯CPU

极极光·2025-05-07 23:42

[论文笔记] pai-megatron qwen1.5报错

Qwen1.5-0.5b-chat使用example中fintune.py报错·Issue#77·QwenLM/Qwen1.5·GitHub解决方案：transformers升级到4.37.0pipinstallsetuptools

心心喵·2025-05-06 16:03

Transformers （HuggingFace Pipelines 实战）

Transformers（HuggingFacePipelines实战）本教程基于HuggingFace的transformers库，展示如何使用预训练模型完成以下任务：情感分析（SentimentAnalysis

pen-ai·2025-05-06 12:09

LLM论文笔记 27: Looped Transformers for Length Generalization

Arxiv日期：2024.9.25关键词长度泛化transformer结构优化核心结论1.RASP-L限制transformer无法处理包含循环的任务的长度泛化2.LoopTransformer显著提升了长度泛化能力InputInjection显著提升了模型的长度泛化性能，尤其在二进制加法等复杂任务上效果显著在推理中，通过输出置信度判断迭代停止点的策略能够实现接近最佳的性能主要方法Transfor

Zhouqi_Hua·2025-05-05 10:49

【RAG实战】基于 LangChain+Transformers+Qwen3 的RAG 智能产品助手实现

1、背景介绍就在2025年4月29日凌晨，阿里巴巴正式推出新一代大语言模型通义千问Qwen3，并宣布全面开源。这一消息瞬间引爆AI圈，被誉为“开源大模型王座再易主”的里程碑事件。作为国内首个支持“混合推理”的模型，Qwen3不仅在技术上实现颠覆性创新，更以开源生态加速行业变革。Qwen3大模型的主要创新点有：1、支持两种思考模式：思考模式：在这种模式下，模型会逐步推理，经过深思熟虑后给出最终答案，

大模型研究院·2025-05-05 10:16

Few-Shot Object Detection with Sparse Context Transformers-CVPR论文汇报

Few-ShotObjectDetectionwithSparseContextTransformers-CVPR论文汇报背景（Background）迁移学习（transferlearning）是目前解决少样本问题的一个有效方法迁移学习就是在源域（sourcedomain）上训练好一个检测模型后，送到目标域（targetdomain）上微调。目标域(targetdomain)因标注少因此无法有效识

joseanne_josie·2025-05-04 12:26

Switch Transformers：核心贡献与MoE的区别

SwitchTransformers：核心贡献与MoE的区别《SwitchTransformers:ScalingtoTrillionParameterModelswithSimpleandEfficientSparsity》是WilliamFedus、BarretZoph和NoamShazeer于2022年发表在《JournalofMachineLearningResearch》的一篇重要论文，

阿正的梦工坊·2025-05-03 18:31

深度学习论文: CAS-ViT: Convolutional Additive Self-attention Vision Transformers

深度学习论文:CAS-ViT:ConvolutionalAdditiveSelf-attentionVisionTransformersforEfficientMobileApplicationsCAS-ViT:ConvolutionalAdditiveSelf-attentionVisionTransformersforEfficientMobileApplicationsPDF:https:/

mingo_敏·2025-05-01 09:07

使用SGLang部署Qwen3大模型的完整指南

使用SGLang部署Qwen3大模型的完整指南一、前言二、环境准备1.安装ModelScope库2.创建Python虚拟环境三、依赖安装1.安装SGLang框架2.更新Transformers库四、模型部署

engchina·2025-04-30 08:24

基于预训练模型Bart的英文文本摘要summary生成

环境python==3.7transformers==4.9.2rouge-score==0.0.4数据准备将数据放在一个txt中，每行为一条，文章正文跟label的摘要用\t分割构建数据集fromdatasetsimportDatasetclassData

yuhengshi·2025-04-29 12:25

推荐频道