From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-Tuning of LLM

本文是LLM系列文章，针对《From LLM to Conversational Agent: A Memory Enhanced Architecture
with Fine

摘要

本文介绍了RAISE（Reasoning and Acting through Scratchpad and Examples），这是一种高级架构，用于增强GPT-4等大型语言模型（LLM）与会话代理的集成。RAISE是ReAct框架的增强，它包含了一个双成分记忆系统，反映了人类的短期和长期记忆，以保持对话的上下文和连续性。它需要一个全面的代理构建场景，包括会话选择、场景提取、CoT完成和场景增强等阶段，从而进入LLM训练阶段。这种方法似乎增强了智能体在复杂、多回合对话中的可控性和适应性。我们在房地产销售背景下的初步评估表明，RAISE与传统代理商相比具有一些优势，这表明其具有更广泛的应用潜力。这项工作为开发更多上下文感知和通用的会话代理提供了一个强大的框架，为人工智能领域做出了贡献。

1 引言

2 代理框架

3 代理调整

4 实验

5 相关工作

6 结论与未来工作

本研究介绍了RAISE，这是一种高级架构，用于增强会话代理的长语言模型（LLM），如GPT-4。在ReAct框架的基础上，RAISE集成了双组件记忆系统，提高了对话上下文的保留和连续性。我们还提出了RAISE中的一种微调方法，该方法提高了代理的可控性和效率，特别是在房地产销售中，尽管适用于各个领域。
然而，这项研究有局限性，包括潜在的幻觉问题和处理复杂逻辑问题的挑战，需要进一步研究。尽管存在这些局限性，RAISE在适应性强、上下文感知的会话代理方面取得了可喜的进展，为人工智能的未来发展奠定了基础。