浅谈大模型RAG架构落地的十大挑战

0、RAG 简介

RAG（Retrieval Augmented Generation）结合知识库检索与大模型回答，确保信息可靠且精准，同时节省了微调成本。

RAG 流程简要概括为3步，对应其名：
检索：借助 Embedding，将问题转化为向量，比对知识库，选取最相关的 Top K 知识。

1、增强：结合检索出的上下文和问题，构造 Prompt。

2、生成：将 Prompt 输入大模型，产出答案。

3、从工程视角划分，RAG 实施分为两阶段：

阶段一：离线数据预处理：涵盖知识文件导入、文本切分、向量构建及数据库存储，完成知识的索引构建。

阶段二、在线应用推理执行：实时执行信息检索与大模型内容生成任务，实现交互式问答流程。

1、数据准备阶段的挑战

挑战一：文本划分不当，影响检索内容的精确度与全面性。

文本块的划分尺寸直接关系到查询时与用户提问的贴合度：过小的区块可能无法涵盖问题所有相关内容；反之，过大则易引入冗余信息。

当前多种文本切分策略存在，但理想的切分方法需贴合特定领域文档特性，考虑因素包括文件格式、作者书写习惯及表述模式等。因此，选取最合适的切块策略需依据具体情况，并可能针对文档的不同类别采取定制化处理。核心在于确保分割逻辑遵循语义完整性