基于多向量检索器的多模态RAG实现：用于表格、文本和图像

原文地址：Multi-Vector Retriever for RAG on tables, text, and images

2023 年 10 月 20 日

概括

跨不同数据类型（图像、文本、表格）的无缝问答是 RAG 追求的目标之一。我们将发布three new cookbooks，展示在包含混合内容类型的文档上使用 RAG 的多向量检索器。这些cookbooks还提出了一些将多模态 LLM与多向量检索器配对以解锁图像上的 RAG 的想法。

• 半结构化（表格+文本）RAG 的cookbook
• 多模式cookbook（文本+表格+图像）RAG
• 私人多模式cookbook（文本+表格+图像）RAG

语境

LLM 可以通过至少两种方式获取新信息：权重更新(例如微调)和RAG(检索增强生成)，它通过提示将相关上下文传递给 LLM。RAG在 事实 回忆方面具有特殊的前景，因为它将LLMs的推理能力与外部数据源的内容结合起来，这对于企业数据来说尤其强大。

改进 RAG 的方法