VLLM

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（三）

文章目录`重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版`[昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker镜像](https://blog.csdn.net
几道之旅·2025-02-12 10:06

LLM推理优化——PagedAttention初识篇（vLLM初识（二））

LLM推理优化——PagedAttention初识篇（vLLM初识（二））前言在LLM推理优化——KVCache篇（百倍提速）中，我们已经介绍了KVCache技术的原理，从中我们可以知道，KVCache
荼荼灰·2025-02-11 15:44

5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ

5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ前言环境准备所需工具创建虚拟环境安装VLLM及依赖库模型下载安装HuggingFaceCLI
engchina·2025-02-11 14:41

vLLM显存优化

在使用vLLM框架进行大模型推理时，为了最大程度地减少GPU显存的占用，可以从以下几个方面调整参数和配置：1.调整max_batch_size参数max_batch_size：这是批处理的最大大小。
xnuscd·2025-02-08 04:07

qwen vllm function_call

以下是基于给定内容编写的关于使用vLLM部署Qwen模型并实现工具调用的教程。教程：使用vLLM部署Qwen模型并实现工具调用前言vLLM是一个高效、易于使用的大型语言模型推理和部署库。
xnuscd·2025-02-08 04:07

【vLLM 学习】使用 CPU 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-02-07 22:51

使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南

使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南引言环境搭建安装vLLM安装依赖库下载模型启动vLLM服务器总结参考引言近年来，随着大规模语言模型（LLM）的快速发展，如何高效地进行模型推理成为了一个热门话题
engchina·2025-02-06 03:40

开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（一）

一、前言在当今人工智能技术迅猛发展的时代，各类人工智能模型如雨后春笋般不断涌现，其性能的优劣直接影响着应用的广度与深度。从自然语言处理到计算机视觉，从智能安防到医疗诊断，AI模型广泛应用于各个领域，人们对其准确性、稳定性和高效性的期望也与日俱增。在此背景下，DeepSeek模型的出现为行业带来了新的曙光。DeepSeek团队开发的DeepSeek-R1-Distill-Qwen-7B模型，利用蒸馏
开源技术探险家·2025-02-04 05:54

AI大模型部署：Ollama与vLLM部署对比：哪个更合适？

Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。
大模型部署·2025-02-02 21:11

vLLM源码之分离式架构

一、vLLM分离式架构概述1.基本概念vLLM是一个用于高效地服务大语言模型（LLM）推理的库。其分离式架构是一种创新的设计理念，旨在优化LLM的运行效率。
Bj陈默·2025-01-30 17:38

轻松实现 vLLM Chat：用 LangChain 替代 OpenAI API

vLLM作为开源的语言模型实现，可以部署成一个模拟OpenAIAPI协议的服务器，方便成为应用中的替代方案。
ahdfwcevnhrtds·2025-01-28 21:26

开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）

一、前言学习Qwen2-VL，为我们打开了一扇通往先进人工智能技术的大门。让我们能够深入了解当今最前沿的视觉语言模型的工作原理和强大能力。这不仅拓宽了我们的知识视野，更让我们站在科技发展的潮头，紧跟时代的步伐。Qwen2-VL具有卓越的图像和视频理解能力，以及多语言支持等特性。学习它可以提升我们处理复杂视觉信息的能力，无论是在学术研究中分析图像数据、解读视频内容，还是在实际工作中进行文档处理、解决
开源技术探险家·2025-01-27 20:51

【vLLM 学习】使用 OpenVINO 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
HyperAI超神经·2025-01-27 11:21

vLLM-prefix浅析（System Prompt，大模型推理加速）

原文：vLLM-prefix浅析（SystemPrompt，大模型推理加速）简介本文浅析了在大模型推理加速方面一个非常优秀的项目vLLM的一个新特性Prefix。
javastart·2025-01-27 00:06

Qwen1.5：使用VLLM加速推理模型（包含：OpenAI如何调用）

如何安装和配置VLLM库在开始使用VLLM库之前，首先需要确保安装正确的版本。以下指南将帮助你完成安装和配置。安装VLLM库根据你的需求选择合适的版本进行安装。
写bug如流水·2025-01-27 00:06

深入解析vLLM：加速大模型推理的高效框架

深入解析vLLM：加速大模型推理的高效框架引言在现代深度学习应用中，大型语言模型（如GPT、GLM、LLaMA、Qwen等）的推理速度和资源利用率成为关键挑战。
秋声studio·2025-01-27 00:34

【vLLM 学习】使用 OpenVINO 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-01-24 16:08

SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。

目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM3，InternLM2
张登杰踩·2025-01-23 17:03

构建企业私有RAG大模型: (可商用)Qwen2.5开源模型vLLM部署及示例

在企业真实场景中，开发接口通常需要针对具体需求进行定制化处理，以更好地适配RAG应用系统的实际需求。相关代码后续会以Git仓库的形式分享。本章将继续探讨开源大模型的部署。在RAG系统的架构中，大模型扮演着至关重要的角色，是整个流程的“最后一环”。知识库的构建、检索，以及知识的排序与整合，都是为了为大模型提供准确、完整的上下文知识。这种知识支撑可以显著降低大模型生成过程中的幻觉问题（如生成不可靠或错
小敢摘葡萄·2025-01-22 16:17

极客说｜Phi-4 模型的 4 位量化与 vLLM 高速推理

作者：魏新宇-微软AI全球黑带高级技术专家「极客说」是一档专注AI时代开发者分享的专栏，我们邀请来自微软以及技术社区专家，带来最前沿的技术干货与实践经验。在这里，您将看到深度教程、最佳实践和创新解决方案。关注「极客说」，与行业顶尖专家一起探索科技的无限可能！Phi-4的模型参数量是14B，这使它在推理的时候比较耗费内存。因此如果我们想要在边缘端运行，需要对它进行量化。量化的手段很多，此前也介绍过，
·2025-01-22 16:00

大模型推理：vllm多机多卡分布式本地部署

文章目录1、vLLM分布式部署docker镜像构建通信环境配置2、其他大模型部署工具3、问题记录参考文献单台机器GPU资源不足以执行推理任务时，一个方法是模型蒸馏量化，结果就是会牺牲些效果。
m0_74824755·2025-01-21 08:20

实战千问2大模型第五天——VLLM 运行 Qwen2-VL-7B（多模态）

一、简介VLLM是一种高效的深度学习推理库，通过PagedAttention算法有效管理大语言模型的注意力内存，其特点包括24倍的吞吐提升和3.5倍的TGI性能，无需修改模型结构，专门设计用于加速大规模语言模型
学术菜鸟小晨·2025-01-20 02:50

从零开始的 AI Infra 学习之路

学习之路文章目录从零开始的AIInfra学习之路一、概述二、AI算法应用2.1机器学习2.2深度学习2.3LLM三、AI开发体系3.1编程语言四、AI训练框架&推理引擎4.1PyTorch4.2llama.cpp4.3vLLM
SSS不知-道·2025-01-19 15:15

深入解析 Python 包调用原理与最佳实践

深入解析Pythonimport原理3.1实验一3.2实验二3.3实验三3.4实验四四、循环依赖问题4.1实验五4.2实验六五、动态加载对象六、总结七、参考资料一、引言写下这篇文章的起因，是最近我在参与vLLM
SSS不知-道·2025-01-19 15:15

安装指南：LLaMA Factory、AutoGPTQ 和 vllm

安装指南：LLaMAFactory、AutoGPTQ和vllm在本文中，我们将详细介绍如何安装LLaMAFactory、AutoGPTQ和vllm，这些工具在大型语言模型（LLMs）和视觉语言模型（VLMs
从零开始学习人工智能·2025-01-17 13:05

【vLLM 学习】安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-01-17 00:08

使用vllIm部署大语言模型

使用vllm部署大语言模型一般需要以下步骤：一、准备工作1.系统要求-操作系统：常见的Linux发行版（如Ubuntu、CentOS）或Windows（通过WSL）。
添砖JAVA的小墨·2024-09-14 12:18

vllm在线推理踩坑记

最近在《AI大模型全栈工程师》课程里看老师推荐使用vllm部署大模型，优点就不详细介绍了，这里摘抄一段来自于Qwen2上手指南对于它的简单介绍：它易于使用，且具有最先进的服务吞吐量、高效的注意力键值内存管理
懂点投资的码农·2024-09-14 12:14

大模型框架：vLLM

目录一、vLLM介绍二、安装vLLM2.1使用GPU进行安装2.2使用CPU进行安装2.3相关配置三、使用vLLM3.1离线推理3.2适配OpenAI-API的API服务一、vLLM介绍vLLM是伯克利大学
m0_37559973·2024-09-14 11:41

大规模语言模型从理论到实践 vLLM推理框架实践

大规模语言模型从理论到实践：vLLM推理框架实践1.背景介绍1.1问题的由来随着大规模语言模型（LargeLanguageModels,vLLMs）的发展，从简单的语言生成到复杂的多模态任务，这些模型的能力得到了显著提升
AGI通用人工智能之禅·2024-09-14 10:08

vLLM (3) - Sequence & SequenceGroup

系列文章目录vLLM(1)-Qwen2推理&部署vLLM(2)-架构总览vLLM(3)-Sequence&SequenceGroup文章目录系列文章目录前言一、SequenceStage&SequenceStatus1
戴昊光·2024-09-07 02:08

开源模型应用落地-LlamaIndex学习之旅-LLMs-集成vLLM（二）

一、前言在这个充满创新与挑战的时代，人工智能正以前所未有的速度改变着我们的学习和生活方式。LlamaIndex作为一款先进的人工智能技术，它以其卓越的性能和创新的功能，为学习者带来前所未有的机遇。我们将带你逐步探索LlamaIndex的强大功能，从快速整合海量知识资源，到智能生成个性化的学习路径；从精准分析复杂的文本内容，到与用户进行深度互动交流。通过丰富的实例展示和详细的操作指南，无论你是初涉人
开源技术探险家·2024-09-04 15:41

LLM大模型落地-从理论到实践

；有实际应用RAG、PEFT和SFT的项目经验较强的NLP基础，熟悉BERT、T5、Transformer和GPT的实现和差异，能快速掌握业界进展，有对话系统相关研发经验掌握TensorRT-LLM、vLLM
hhaiming_·2024-09-04 01:12

查询vllm-flash-attn与之对应的pytorch

最近安装vllm的时候有时候pytorch版本总是弄错，这里写下vllm-flash-attn与pytoch对应关系打开网站vllm-flash-attn·PyPI查询历史版本点进去查询对应的pytoch
源来猿往·2024-08-29 16:24

CLIP-VIT-L + Qwen 多模态源码阅读 - 语言模型篇（3）

多模态学习笔记-语言模型篇（3）参考repo:WatchTower-Liu/VLM-learning;url:VLLM-BASE吐槽今天接着昨天的源码继续看，黑神话：悟空正好今天发售，希望广大coder
FlowerLoveJava·2024-08-24 22:10

SWIFT介绍和学习(简单入门级别)

SWIFT介绍和学习SWIFT功能介绍SWIFT快速使用LLM及LLM最佳实践（LLM系列文章）部署指南vllm非官方介绍资料项目地址：https://github.com/modelscope/swift
weixin_43870390·2024-03-26 22:42

Made In Heaven，LLM要加速了

于是我就尝试在这两个系统上进行加速实验，尝试HuggingfaceDoc中推荐的FlashAttention2以及vLLM的PageAttention。原理参考L
DisonTangor·2024-03-03 12:31

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（二）

一、术语介绍1.1.Gunicorn一个用于运行PythonWeb应用程序的HTTP服务器。它是一个基于UNIX的预叉（pre-fork）服务器，专为在高并发环境中运行PythonWeb应用程序而设计。1.2.Flask一个轻量级的PythonWeb框架，用于构建Web应用程序。它被设计成简单易用且灵活的框架，提供了基本的功能和工具，同时保持了扩展性和可定制性。1.3.Supervisor一个用于
charles_vaez·2024-02-19 19:18

vllm的SamplingParams参数

vllm部署示例fromvllmimportLLM,SamplingParams#Sampleprompts.prompts=["Hello,mynameis","ThepresidentoftheUnitedStatesis
致Great·2024-02-14 21:01

vLLM vs Text Generation Interface：大型语言模型服务框架的比较

在大型语言模型（LLM）的世界中，有两个强大的框架用于部署和服务LLM：vLLM和TextGenerationInterface(TGI)。这两个框架都有各自的优势，适用于不同的使用场景。
田猿笔记·2024-02-14 05:53

使用 vLLM 部署本地 LLM 指南

目录vLLM安装与模型下载离线批量推理OpenAI兼容服务器参考资料：vLLMGitHub首页vLLM官方文档vLLM安装与模型下载vLLM安装：直接pipinstall即可我选取了OpenChat-3.5
明月出天山_·2024-02-08 20:31

本地化部署大模型方案二：fastchat+llm(vllm)

安装魔搭环境，下载大模型3.4安装并使用FastChat3.4.1安装FastChat3.4.2使用FastChat第一步启动controller第二步启动model_worker（llm）第二步代替方案(vllm
代码浪人·2024-01-26 05:54

基于Ray和vLLM构建70B+模型的开源RLHF全量训练框架

背景ChatGPT已经问世一年+了，在训练ChatGPT中必不可少的一环是RLHF训练，目前开源社区已经有了不少RLHF训练框架比如，TRL,DeepSpeedChat或者最近热门的LLaMAFactory。这些框架往往是基于ZeRO等并行方式，将RLHF算法中的四个模型切片后放到同一个GPU上。在模型规模越来越大的今天，这种调度方式无法满足70B+甚至仅13B+模型的全量RLHF训练，必须通过合
AI知识图谱大本营·2024-01-22 06:28

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（一）

一、前言基于真实生产级项目分享，帮助有需要的同学快速构建完整可交付项目项目流程包括（去掉业务部分）：开源模型测试，包括baichuan、qwen、chatglm、bloom数据爬取及清洗模型微调及评估搭建AI交互能力搭建IM交互能力搭建违禁词识别能力优化模型推理速度增强模型长期记忆能力二、术语介绍2.1.vLLMvLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理at
charles_vaez·2024-01-19 12:30

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（三）

二、前置知识2.1.了解如何启动vllm服务python-mvllm.entryp
charles_vaez·2024-01-19 12:30

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（四）

一、前言经过前面三篇的实施，相信你已经顺利完成了AI服务的功能性需求。现在，我们进入了考虑非功能性需求的阶段。作为一个公共服务，安全性是至关重要的。通过对安全性进行设计，我们可以提升软件对潜在威胁和安全漏洞的防护能力，确保用户数据和系统的安全。二、术语2.1、限流是一种用于控制系统访问速率的技术手段。在计算机网络中，限流用于限制对某个资源或服务的并发访问数量，以防止系统被过多的请求压垮或拖慢响应速
charles_vaez·2024-01-19 12:30

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（六）

一、前言大家是否对模型的自我认知产生了兴趣？例如，当你询问模型身份时，它可以根据你的要求扮演各种角色进行回答，而不仅仅给出平淡无奇的回答，比如说：“我是某某云的大规模语言模型，名叫某某”。听起来是不是感觉少了点什么？想象一下，如果你能跟模型聊天，而它不仅仅能回答你的问题，还能在你要它扮演某个角色的时候，变换自己的身份和语气，那是不是会更有意思？比如说，你可以告诉模型：“嘿，我想跟你聊聊足球”，然后
charles_vaez·2024-01-19 12:30

开源模型应用落地-业务整合篇（一）

一、前言经过对qwen-7b-chat的部署以及与vllm的推理加速的整合，我们成功构建了一套高性能、高可靠、高安全的AI服务能力。现在，我们将着手整合具体的业务场景，以实现完整可落地的功能交付。
charles_vaez·2024-01-19 12:57

vLLM部署推理及相关重要参数

部署示例代码fromvllmimportLLM,SamplingParamsprompts=["Hello,mynameis","ThepresidentoftheUnitedStatesis","ThecapitalofFranceis","ThefutureofAIis",]sampling_params=SamplingParams(temperature=0.8,top_p=0.95)ll
余俊晖·2024-01-19 03:55

qwen在vLLM下的长度外推简易方法

目的在当前的版本vLLM中实现qwen的长度外推。
余俊晖·2024-01-19 03:52
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他