OpenLLM

如何使用Prompt快速压缩将RAG成本降低80%

性能得分与推理吞吐量[1]小型模型每秒生成更多的tokens，往往在OpenLLM排行榜上得分较低。增加模型参数大小可以提
lichunericli·2024-01-29 11:00

使用 OpenLLM 构建和部署大模型应用

原文：使用OpenLLM构建和部署大模型应用-知乎分享主题为：使用OpenLLM快速构建和部署大语言模型的应用。OpenLLM是一个开源的大语言模型（LLM）开发框架。
javastart·2024-01-28 05:51

关于lora的理解

参考：【OpenLLM007】大模型炼丹术之小参数撬动大模型-万字长文全面解读PEFT参数高效微调技术-知乎(zhihu.com)图解大模型微调系列之：大模型低秩适配器LoRA（原理篇）-知乎(zhihu.com
wozwdaqian·2024-01-13 04:39

极智AI | LLM大模型部署框架之OpenLLM

欢迎关注我的公众号[极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来介绍一下LLM大模型部署框架之OpenLLM。
极智视界·2023-11-24 11:54

只需100GB内存，让Falcon 180B在你的电脑上起飞

一、前言自2023年5月，阿布扎比技术创新研究所（TII）发布了两个预训练的LLM：Falcon7B和Falcon-40B，这两个模型的表现十分优异，在OpenLLM排行榜上高居榜首。
技术狂潮AI·2023-10-27 04:00

从 0 到 1！得物如何打造通用大模型训练和推理平台

一些大模型的评测情况可以去这里查询：Huggingface的OpenLLM排行榜，UC伯克利发布大语言模型排行榜等。随着大模型的发展，大模型的训练与部署技术变的非常重要了。
得物技术·2023-07-31 19:50

Hugging News #0717: 开源大模型榜单更新、音频 Transformers 课程完成发布！

OpenLLM排行榜是HuggingFace设立的一个用于评测开放大语
Hugging Face·2023-07-20 04:44
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他