LLM之RAG实战(十四)| 利用LongContextRetriver克服RAG中的中间丢失现象
人类和大型语言模型(LLM)都有一个共同的行为模式:他们往往擅长处理位于给定内容开头或结尾的信息,而中间的信息往往会被忽视。来自斯坦福大学、加州大学伯克利分校和SamayaAI的研究人员在论文《LostintheMiddle:HowLanguageModelsUseLongContexts》中发现了一种类似于人类首要/近因效应的现象。这意味着,像人类一样,LLM更有可能回忆起位于输入开始或结束的信