xinference

Xinference如何注册自定义模型

环境：Xinference问题描述：Xinference如何注册自定义模型解决方案：1.写个model_config.json，内容如下{"version":1,"context_length":2048
玩人工智能的辣条哥·2024-09-16 08:10

探索LangChain-Chatchat 0.3：一体化Agent与强大RAG模型的全面入门指南

介绍LangChain-Chatchat支持RAG和Agent0.3版本跟大模型解耦,支持Xinference、Ollama、LocalAI、FastChat、OneAPI,可以非常方便的切换各个模型,
爱喝白开水a·2024-09-06 18:47

GreptimeAI + Xinference 联合方案：高效部署并监控你的 LLM 应用

随着人工智能技术的迅速进步，OpenAI已经崭露头角，成为该领域的领军者之一。它在多种语言处理任务上表现卓越，包括机器翻译、文本分类和文本生成等方面。随着OpenAI的兴起，同时涌现的还有许多其他优质的开源大语言模型，比如Llama，ChatGLM，Qwen等等，这些优秀的开源模型也可以帮助团队快速地搭建出一个出色的LLM应用。但面对如此多的选择，如何在减少开发成本的同时，能够统一地使用OpenA
Greptime·2024-01-25 03:10

FastGPT + Xinference + OneAPI：一站式本地 LLM 私有化部署和应用开发

Excerpt随着GPTs的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs在中国的使用依然存在诸多困扰和障碍。因此，在当…随着GPTs的发布，构建私有知识库变得无比简易，这为个人创建数字化身份、第二大脑，或是企业建立知识库，都提供了全新的途径。然而，基于众所周知的原因，GPTs在中国的使用依然存在诸多困
南七小僧·2024-01-14 12:55

xinference

xinferenceXorbitsInference（xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。
vitaminYZZ·2024-01-13 21:45

摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

本文将应用理论于实践，给大家演示如何利用Milvus、Xinference、Llama2-70B开源模型和LangChain，构筑出一个全功能的问答系统。
·2023-08-16 18:57
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他