ModaHub魔搭社区——GPTCache 的工作原理

GPTCache 模块化的架构设计方便用户定制个性化语义缓存。每个模块都提供多种选择,适合各种应用场景。

ModaHub魔搭社区——GPTCache 的工作原理_第1张图片

  • 大语言模型适配器: 适配器将大语言模型请求转换为缓存协议,并将缓存结果转换为 LLM 响应。适配器方便轻松集成所有大语言模型,并可灵活扩展。GPTCache 支持多种大语言模型,包括:
    • OpenAI ChatGPT API
    • langchain
    • minigpt4
    • Llamacpp.
    • dolly.
    • 后续将支持:Hugging Face Hub、Bard、Anthropic、 等
  • 向量生成器: Embedding 生成

你可能感兴趣的:(《向量数据库指南》,GPTCache,《实战AI模型》,Milvus,Cloud,VectorDBBench,向量数据库,AI-native,Milvus,GPTCache)