RAFT：Adapting Language Model to Domain Specific RAG

论文链接
简单来说，就是你SFT微调的时候得考虑RAG的场景。
RAG什么场景？你检索top-k回来，里面有相关doc有不相关doc，后者是影响性能的重要原因，LLM需要有强大的识别能力才能分得清哪块和你的query相关。微调就是为了这个。你做领域微调时，根据chunk生成query、answer，然后直接拿这仨微调，这里面没有干扰项，没有“不相关doc”，就扛不住RAG的噪声。

RAFT就是针对这个搞的。怎么搞？就是chunk query answer里，chunk再多加几个不相关文档，并且answer生成时使用CoT，CoT其实是选用，用了，效果好，不用，推理速度快。

混合多少不相关文档，得你自己凭经验。