VLLM

vLLM本地部署Mistral-Small 3.1+全方位测试多模态大模型！超越Gemma3.1，最适合企业项目的大模型！中文OCR能力也不弱

本篇笔记所对应的视频https://www.bilibili.com/video/BV1Q9XLYiEwD/MistralAI最新推出的MistralSmall3.1模型无疑是近期科技界的一大亮点。这款由法国AI实验室MistralAI开发的开源多模态模型，以其卓越的性能和灵活性，为开发者、企业和研究人员带来了全新的可能性。凭借24B参数、对文本与图像的处理能力，以及在多个关键指标上的突破，Mis
AI超元域·2025-03-19 12:14

五、AIGC大模型_05模型的vLLM部署与LangChain调用

0、概述要搭建一个大模型应用服务，通常需要包含以下五层结构，即：基础环境、模型层、推理层、对外接口、外挂应用在了解了模型的微调训练之后，本文将以vLLM、OpenAI、LangChain为例，介绍大模型的推理部署以及对外接口开放调用
学不会lostfound·2025-03-18 19:20

VLLM专题（三十五）—多模态数据处理

为了在vLLM中实现各种优化，例如分块预填充和前缀缓存，我们使用BaseMultiModalProcessor来提供占位符特征标记（例如）与多模态输入（例如原始输入图像）之间的对应关系，基于HF处理器的输出
AI专题精讲·2025-03-18 16:56

vllm部署说明和注意事项

1、vllm所在docker镜像可去vllm官网提供的镜像地址拉取地址：UsingDocker—vLLMVllm镜像运行需要不同的cuda版本依赖，如上vllm/vllm-openai:v0.7.2需要
ai一小生·2025-03-17 14:59

开源模型应用落地-Qwen2-VL-7B-Instruct-vLLM-OpenAI API Client调用

一、前言学习Qwen2-VL，为我们打开了一扇通往先进人工智能技术的大门。让我们能够深入了解当今最前沿的视觉语言模型的工作原理和强大能力。这不仅拓宽了我们的知识视野，更让我们站在科技发展的潮头，紧跟时代的步伐。Qwen2-VL具有卓越的图像和视频理解能力，以及多语言支持等特性。学习它可以提升我们处理复杂视觉信息的能力，无论是在学术研究中分析图像数据、解读视频内容，还是在实际工作中进行文档处理、解决
开源技术探险家·2025-03-17 13:52

【大模型实战篇】对比包括QwQ-32B在内的不同推理模型的吞吐量表现

实验采用A800机器，测试双卡部署以及四卡部署的模式，推理框架采用vllm，关于部署的细节参考《vllm本地部署阿里最新的QwQ-32B推理模型》。模型参数链接如下：模型名称参
源泉的小广场·2025-03-17 01:49

windows下玩转vllm：在wsl下安装vllm后续，设置modelscope作为下载源

文章目录前言所涉及的之前的关键步骤解决模型权重下载网络不通畅的问题vllm和modelscope整合后的bug附录ImportError:cannotimportname'_try_login'from'modelscope.utils.hf_util
几道之旅·2025-03-15 12:42

【vLLM 学习】使用 TPU 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
HyperAI超神经·2025-03-14 17:26

轻量级多模型部署实践：Ollama 与 vLLM 快速构建高效 AI 工作流20250306

轻量级多模型部署实践：Ollama与vLLM快速构建高效AI工作流本文将详细介绍如何在MacOS与Ubuntu环境下使用Ollama与vLLM进行轻量级多模型部署，包括模型并行推理、安全与性能优化的实践经验
Narutolxy·2025-03-13 20:55

vLLM 部署大语言模型的系统选择策略

核心选型原则指标权重说明CUDA支持⭐⭐⭐⭐⭐直接影响GPU加速性能，需确保系统与NVIDIA驱动和CUDA工具链的兼容性软件源时效性⭐⭐⭐⭐系统需提供较新的Python、PyTorch等AI框架版本，避免依赖冲突长期支持(LTS)⭐⭐⭐⭐生产环境需规避因系统版本过期导致的安全漏洞和兼容性问题社区生态⭐⭐⭐活跃的开发者社区能快速解决部署问题，降低运维成本企业级支持⭐⭐需要SLA保障的商业场景需考虑
由数入道·2025-03-12 22:15

vLLM框架：使用大模型推理框架

vLLM专为高效部署大规模语言模型设计，尤其适合高并发推理场景，关于对vLLM的介绍请看这篇博文。以下从安装配置、基础推理、高级功能、服务化部署到多模态扩展逐步讲解。
CITY_OF_MO_GY·2025-03-12 17:12

【xinference部署大模型超详细教程 gemma-it为例子】

network_turbo#仅限autodl平台pipconfigsetglobal.index-urlhttps://mirrors.pku.edu.cn/pypi/web/simple第一步安装xinference和vLLM
放飞自我的Coder·2025-03-12 02:50

vllm多卡部署Qwen2.5-72B-Instruct-GPTQ-Int4

双卡v10032G部署结果如下，推理时长16s3卡，tensor_parallel_size=3，tensor并行的数量一定要能被attentionheads整除4卡，tensor_parallel_size=4，推理速度4s
Yanc_L·2025-03-10 20:54

大语言模型引擎全解析：Transformers、vLLM、Llama.cpp等，最佳选择全攻略！

本文将带你深入了解Transformers、vLLM、Llama.cpp、SGLang、MLX和Ollama这些引擎，帮助你找到最适合的工具，释放大语言模型的全部潜力！作为技术人员，不仅
大模型入门教程·2025-03-10 12:29

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）

一、前言目前，大语言模型已升级至Qwen2.5版本。无论是语言模型还是多模态模型，均在大规模多语言和多模态数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。另外，使用Docker实现便捷测试成为一种高效的解决方案。通过将模型及其运行环境封装在Docker容器中，开发者可以确保模型在不同环境下的行为一致性，避免由于环境差异导致的不可预见的错误。Docker的轻量级特性使得测试可以迅速部署
开源技术探险家·2025-03-10 06:43

【vLLM 教程】使用 TPU 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-03-10 05:07

探索vLLM Chat的强大功能：与OpenAI API协议的无缝集成

引言在AI技术快速发展的时代，能够灵活集成不同API对于开发者来说显得尤为重要。vLLMChat通过模拟OpenAIAPI协议，为现有应用提供了无缝的替换选项。本篇文章将介绍如何使用langchain-openai包来开始使用vLLMChat模型。主要内容1.vLLMChat概述vLLMChat允许开发者部署一个能够模拟OpenAIAPI协议的服务器。这意味着现有依赖OpenAIAPI的应用可以直
sjufgwgfhoia·2025-03-09 10:28

vllm 聊天模板

vllm聊天模板背景如何使用chattemplategenerationprompt&add_generation_promptchattemplates的额外输入工具使用/函数调用ChatTemplate
wildland·2025-03-09 09:14

DeepSeek掘金——vLLM和ollama综合对比

DeepSeek掘金——vLLM和ollama综合对比本文比较vllm和ollama在不同场景中的表现。我们将重点关注：资源利用率和效率、部署和维护的简易性、具体用例和建议、安全和生产准备、文档。
不二人生·2025-03-08 10:12

如何将hf-mirror.com作为vllm默认的下载源? conda如何移除虚拟环境？conda 如何复制一份虚拟环境？

前言上回咱说道，如果你没办法访问huggingface.co，则可以把modelscope作为vllm默认的下载源。但如果你非得用你用不了的huggingface.co呢？
几道之旅·2025-03-07 17:45

vLLM部署Qwen2.5-VL-7B-Instruct实战：从hf-mirror下载权重全流程

本文将重点演示如何从国内镜像站https://hf-mirror.com高效下载Qwen2.5-VL-7B-Instruct模型权重，并通过vLLM完成部署。
几道之旅·2025-03-07 12:58

给没有登录认证的web应用添加登录认证(openresty lua实现)

我也折腾了下本地部署，ollama、vllm、llama.cpp都弄了下，webui也用了几个，发现nextjs-ollama-llm-ui小巧方便，挺适合个人使用的。
dgiij·2025-03-06 08:47

基于Ubuntu+vLLM+NVIDIA T4高效部署DeepSeek大模型实战指南

一、前言：拥抱vLLM与T4显卡的强强联合在探索人工智能的道路上，如何高效地部署和运行大型语言模型（LLMs）一直是一个核心挑战。尤其是当我们面对资源有限的环境时，这个问题变得更加突出。
来自于狂人·2025-03-05 02:01

探索vLLM Chat：作为OpenAI API替代方案的强大工具

vLLM是一款可以作为OpenAIAPI协议替代品的聊天模型服务器。它的设计允许您在应用中无缝替换OpenAIAPI，实现相似的功能和性能。
qq_37836323·2025-03-03 15:41

【模型部署】大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择？

以下是对比分析：性能VLLM(VirtualTensorLanguage):VLLM是一个高性能的推理库，特别适用于长序列任务。
深度求索者·2025-03-02 08:19

【llm对话系统】 LLM 大模型推理python实现：vLLM 框架

为了解决这个问题，vLLM应运而生！vLLM是一个专为LLM设计的高吞吐、低延迟的推理和服务引擎，它能够显著提升LLM的推理速度，让你的应用如虎添翼！今天，我们就来一起探索vLLM的奥秘
kakaZhui·2025-03-02 06:06

Python vLLM 实战应用指南

文章目录1.vLLM简介2.安装vLLM3.快速开始3.1加载模型并生成文本3.2参数说明4.实战应用场景4.1构建聊天机器人示例对话：4.2文本补全输出示例：4.3自定义模型服务启动服务调用服务5.性能优化
ghostwritten·2025-03-02 06:34

【vLLM 学习】使用 Neuron 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
HyperAI超神经·2025-03-01 14:47

2.9 部署模型-大模型ACP模拟题-真题

单选题使用vLLM启动模型服务的正确命令是？A.vllmserve"./model/qwen2_5-1_5b-instruct"--port8000B.vllmserve".
admin皮卡·2025-02-28 17:12

通过vLLM部署LLM模型到生产环境中

文章目录1使用vLLM部署模型2部署过程2.1准备GPU环境2.2安装vLLM依赖项3使用vLLM部署模型并启动服务3.1部署开源模型3.2部署微调模型4测试服务是否正常运行5评估服务性能1使用vLLM
MichaelIp·2025-02-28 01:04

本地部署 deepseek-r1 1.5B方法-ubuntu20.04 python3.10 pycharm虚拟环境

1.环境安装ubuntu20.04python3.10pycharm虚拟环境2.拉取代码虚拟环境下安装vllm：pipinstallvllmubuntu命令窗口安装sudoaptinstallgit-lfs
Terry Cao 漕河泾·2025-02-27 07:44

vLLM专题（十四）-自动前缀缓存

注意有关vLLM如何实现APC的技术细节，请参阅此处。二、在vLLM中启用APC在vLLM引擎中设置enable_prefix_caching=True以启用APC。
AI专题精讲·2025-02-26 10:02

开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能

但是目前只有HFtransformers和vLLM支持该模型。二、术语介绍2.1.混合专家(MoE)架构是一种机器学习模型的结构设计,它将一个复杂的任务分解成多个相对简单的子任务,
开源技术探险家·2025-02-25 07:55

vllm安装及总结

vllm的安装和使用，对torch、cuda、xformers等有较多的版本依赖，过程中有一些曲折，故整理记录如下。
赫连达·2025-02-23 04:19

什么是语料清洗、预训练、指令微调、强化学习、内容安全； 什么是megatron，deepspeed，vllm推理加速框架

什么是语料清洗、预训练、指令微调、强化学习、内容安全目录什么是语料清洗、预训练、指令微调、强化学习、内容安全语料清洗预训练指令微调强化学习内容安全什么是megatron，deepspeed，vllm推理加速框架语料清洗语料清洗是对原始文本数据进行处理的过程
ZhangJiQun&MXP·2025-02-21 19:45

大模型工具大比拼：SGLang、Ollama、VLLM、LLaMA.cpp 如何选择？

本文将深入对比SGLang、Ollama、VLLM和LLaMA.cpp四款热门大模型工具，帮助您找到最契合需求的解决方案！工具概览在开始之前，先简单了解一下这四款工具的特点：SGLang：性能卓越的
X_taiyang18·2025-02-18 23:42

从表征视角看VLLM--总讲（万字专栏，持续更新）

BLIP系列：BLIP1.0、BLIP2.0从表征视角看VLLM（1）——BLIP系列模型-CSDN博客LLAVA系列：LLAVA1.0、LLAVA1.5、LL
仙人球小熊·2025-02-18 19:25

Docker安装分布式vLLM

Docker安装分布式vLLM1介绍vLLM是一个快速且易于使用的LLM推理和服务库，适合用于生产环境。单主机部署会遇到显存不足的问题，因此需要分布式部署。
MasonYyp·2025-02-18 13:49

【vLLM 学习】安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-02-16 23:25

使用vllm docker容器部署大语言模型

说明最近deepseek比较火，我在一台4卡4090的服务器上尝试部署了一下，记录下部署步骤。安装过程安卓docker和nvidia-container-toolkit安装19.03版本以上的docker-ce即可。安装步骤参考清华docker源上的安装步骤：DockerCE软件仓库为了在docker中使用够显卡，需要安卓nvidia-container-toolkit。在线安装请参考英伟达的官方
yuanlulu·2025-02-15 05:33

ubuntu系统vllm部署deepseek

配置：8张英伟达H800显卡，硬盘14T，内存2T；本次部署显卡驱动和Miniconda都已安装，所以直接从步骤4的创建虚拟环境开始；nvidia-smi命令查看显卡；1.系统更新和依赖安装#更新系统包sudoaptupdate&&sudoaptupgrade-y​#安装基础依赖sudoaptinstall-ybuild-essentialpython3-pipcurlgitwget2.安装NVI
打工乞丐·2025-02-14 20:22

Ollama与Vllm使用对比与优劣

Ollama和vLLM是两个用于优化大型语言模型（LLM）推理的框架，它们在性能、资源利用率、部署复杂性等方面各有优劣。
魔王阿卡纳兹·2025-02-14 08:55

昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）

（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是
几道之旅·2025-02-12 10:36

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）

文章目录`重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版`[昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker镜像](https://blog.csdn.net
几道之旅·2025-02-12 10:06

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（三）

文章目录`重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版`[昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker镜像](https://blog.csdn.net
几道之旅·2025-02-12 10:06

LLM推理优化——PagedAttention初识篇（vLLM初识（二））

LLM推理优化——PagedAttention初识篇（vLLM初识（二））前言在LLM推理优化——KVCache篇（百倍提速）中，我们已经介绍了KVCache技术的原理，从中我们可以知道，KVCache
荼荼灰·2025-02-11 15:44

5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ

5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ前言环境准备所需工具创建虚拟环境安装VLLM及依赖库模型下载安装HuggingFaceCLI
engchina·2025-02-11 14:41

vLLM显存优化

在使用vLLM框架进行大模型推理时，为了最大程度地减少GPU显存的占用，可以从以下几个方面调整参数和配置：1.调整max_batch_size参数max_batch_size：这是批处理的最大大小。
xnuscd·2025-02-08 04:07

qwen vllm function_call

以下是基于给定内容编写的关于使用vLLM部署Qwen模型并实现工具调用的教程。教程：使用vLLM部署Qwen模型并实现工具调用前言vLLM是一个高效、易于使用的大型语言模型推理和部署库。
xnuscd·2025-02-08 04:07

【vLLM 学习】使用 CPU 安装

vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。
·2025-02-07 22:51
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他