VLLM

【llm 使用vLLM部署本地大模型】

QuickstartContentsOfflineBatchedInferenceAPIServerOpenAI-CompatibleServerUsingOpenAICompletionsAPIwithvLLMUsingOpenAIChatAPIwithvLLMQuickstartThisguideshowshowtousevLLMto:runofflinebatchedinferenceona
放飞自我的Coder·2024-01-14 17:09

【LLM】vLLM部署与int8量化

PagedAttention算法能有效管理注意力机制中的键和值，将它们分割成更小、更易于管理的块，从而减少了vLLM的内存占用，并使其吞吐量超过传统LLM服务
Hellespontus·2024-01-13 23:46

vLLM皇冠上的明珠：深入浅出理解PagedAttention CUDA实现

©作者|方佳瑞单位|腾讯研究方向|机器学习系统当前，在大模型推理框架领域，vLLM以其卓越的高吞吐性能和简洁易读的代码而备受瞩目，已经成为许多团队二次开发的首选。
PaperWeekly·2024-01-09 11:17

大模型推理部署：LLM 七种推理服务框架总结

下面首先来总结一下这些框架的特点，如下表所示：LLM推理有很多框架，各有其特点，下面分别介绍一下表中七个框架的关键点：vLLM[1]：适用于大批量Prom
机器学习社区·2023-12-31 00:36

finetune时报错from pyramid.session import UnencryptedCookieSessionFactoryConfig

Traceback(mostrecentcalllast):File"/root/anaconda3/envs/vllm/lib/python3.9/runpy.py",line188,in_run_module_as_mainmod_name
三采·2023-12-30 03:35

1-2B参数规模大模型使用心得及模型汇总

即使有gptq、fastllm、vllm等推理加速方法，但如果GPU资源不够也很难保证高并发。那么如何在模型变小的同时，模型效果不明显下降，在指定任务上也可以媲美大模型的效果呢？
机器学习社区·2023-12-24 16:00

vLLM 实战

本文以加州大学伯克利分校开发的vLLM框架为例，进行实战探索。1.整体介绍根据公开文档中的实验结果，vLLM吞吐量比HuggingFaceTransformers高出24倍，比TGI高出
Linux基金会AI&Data基金会·2023-12-22 10:38

LLM推理部署（六）：TogetherAI推出世界上LLM最快推理引擎，性能超过vLLM和TGI三倍

LLM能有多快？答案在于LLM推理的最新突破。TogetherAI声称，他们在CUDA上构建了世界上最快的LLM推理引擎，该引擎运行在NVIDIATensorCoreGPU上。Together推理引擎可以支持100多个开源大模型，比如Llama-2，并在Llama-2–70B-Chat上每秒生成117个tokens，在Llama2–13B-Chat中每秒生成171个tokens。文本将从以下几点进
wshzd·2023-12-15 05:31

使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度23 words/s

1，演示视频地址https://www.bilibili.com/video/BV1Hu4y1L7BH/使用autodl服务器，两个3090显卡上运行，Yi-34B-Chat-int4模型，用vllm优化
fly-iot·2023-12-05 08:10

使用autodl服务器，在A40显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度18 words/s

1，演示视频https://www.bilibili.com/video/BV1gu4y1c7KL/使用autodl服务器，在A40显卡上运行，Yi-34B-Chat-int4模型，并使用vllm优化加速
fly-iot·2023-12-01 08:40

chatglm3 vllm部署推理；api访问使用

用fastchat部署暂时有各种问题，参考：https://github.com/lm-sys/FastChat/pull/2622本篇用vllm运行测试可以使用1、vllm运行python-mvllm.entrypoints.api_server
loong_XL·2023-11-30 23:18

Unity接入大模型（小羊驼Vicuna，vLLM，ChatGPT等）

实现在Unity内部的大模型访问，我也是第一次接触Unity中通过大模型url访问。此博客面向新手，旨在给大家简单理解大模型POST和GET过程，还有实现简单的大模型访问。参考博客：什么是chatGPT？Unity结合OpenAI官方api实现类似chatGPT的AI聊天机器人附带源码地址：OpenAIChatRobotMaster:使用unity实现的基于OpenAI官方api的AI聊天机器人示
←_←鱼缸·2023-11-19 22:36

生成式AI - 大模型推理框架概述

vLLMGitHub:https://github.com/vllm-project/vllm简介vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理
LarryHai6·2023-11-14 11:05

在亚马逊云科技Amazon SageMaker上使用vLLM框架进行Rolling Batch推理优化的部署实践

业务场景&背景介绍对于LLM推理的GenAI实际生产应用，其推理的时延和吞吐量是非常重要的性能指标。一方面推理输出的响应时间（时延）越短，客户端的体验越好；一方面同样的时间GenAI应用能推理生成的tokens数量越多，则意味着同样资源开销下吞吐量更大，其性价比更高。然而这两点在实施落地上却是痛点和难点，因为对于动则几十上百亿参数的LLM模型，其推理生成时GPU显存和计算的成本非常高，而且很多场景
视界说·2023-11-12 14:42

语言大模型推理性能工程：最佳实践

这些指南是MosaicML工程师团队基于FasterTransformers、vLLM以及NVIDIA的TensorRT-LLM等背后的经验总结而来。Mos
OneFlow深度学习框架·2023-11-10 15:55

大模型推理框架概述

简介vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFaceTransformers高14-24倍的吞吐量。
Python算法实战·2023-10-10 05:08

大模型推理框架概述

vLLMGitHub:https://github.com/vllm-project/vllm简介vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的
吃果冻不吐果冻皮·2023-10-08 04:13

LLM推理部署（一）：LLM七种推理服务框架总结

下面首先来总结一下这些框架的特点，如下表所示：LLM推理有很多框架，各有其特点，下面分别介绍一下表中七个框架的关键点：vLLM[1]：适用于大批量Prom
wshzd·2023-09-15 02:38

ChatGPT实战与私有化大模型落地

Megatron-LM分布式深度学习框架——Colossal-AI分布式深度学习框架——DeepSpeedP-tuning微调资源消耗模型推理加速模型推理加速方法——FastLLM模型推理加速方法——VLLm
uncle_ll·2023-09-10 13:32

docker 容器pip、git安装异常；容器内web对外端口ping不通

1、docker容器pip、git安装异常错误信息：gitclonehttps://github.com/vllm-project/vllm.gitCloninginto‘vllm’…fatal:unabletoaccess
loong_XL·2023-09-08 01:43

LLM大模型推理加速 vLLM；Qwen vLLM使用案例；模型生成速度吞吐量计算

参考：https://github.com/vllm-project/vllmhttps://zhuanlan.zhihu.com/p/645732302https://vllm.readthedocs.io
loong_XL·2023-09-08 01:12

VLLM推理流程梳理

0x0.前言本文在对VLLM进行解析时只关注单卡情况，忽略基于ray做分布式推理的所有代码。
just_sort·2023-09-04 05:55

博客阅读笔记（2023.07.17 - 2023.07.23）

泛读笔记（2023.07.17至2023.07.23）1.vLLM2.WebGLM3.LLMs可以成为财务顾问吗？4.对行业大模型的思考1.vLLM文章：比HuggingFace快24倍！
酿久诗·2023-07-21 14:36
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他