Agent Q: 实现自主网页代理的提升

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

近年来，大型语言模型（LLMs）的能力在自然语言处理和理解领域取得了显著进展，达到了多个里程碑。然而，尽管这些模型表现优异，它们在交互式环境中，尤其是在需要多步推理的任务（如网页导航）中仍面临重大挑战。现有的训练方法依赖于静态语言数据集，无法有效应对动态的真实世界互动任务。

于是，Agent Q应运而生。Agent Q代表了自主代理领域的一个重大突破，结合了搜索、自我批判和强化学习，创造出能够进行规划和自我修复的先进网页自主代理。我们突破性的研究方法通过引入一种全新的学习和推理框架，成功解决了以往LLM训练技术的局限性，特别是在自主网页导航任务中。

当前方法的局限性

当前的训练方法（如基于专家演示的监督微调）在处理多步任务时表现欠佳，尤其在复杂决策和适应性学习方面表现不佳。这些方法由于错误的不断累积以及探索数据的局限性，通常会产生次优策略，尤其是在需要灵活应对的动态环境中。

Agent Q的创新研究

Agent Q的创新之处在于将引导的蒙特卡洛树搜索（MCTS）与AI自我批判和迭代微调相结合，利用强化学习与人类反馈（RLFH）方法，例如直接偏好优化（DPO）算法。此方法允许LLM代理通过成功和失败的经验轨迹学习，提高其在多步推理任务中的泛化能力。

Agent Q的关键组成部分：

1. 基于MCTS的引导搜索：这一技术通过在不同操作和网页间进行探索，自动生成数据，平衡探索与利用。MCTS通过高采样温度和多样化的提示，扩展了操作空间，确保收集到多样且优化的轨迹数据。
2. AI自我批判：在每一步操作中，AI自我批判机制为代理的决策过程提供反馈，优化其决策能力。此逐步反馈在长时间任务中至关重要，尤其是在信号稀疏的情况下，往往会导致学习困难。
3. 直接偏好优化（DPO）：DPO算法通过从MCTS生成的数据中构建偏好对，进一步微调模型。这种离线策略训练方法允许模型从包含次优分支的综合数据集中有效学习，从而在复杂环境中显著提高成功率。

实际验证

在Open Table上的真实预订实验中，MultiOn的Agent Q使得LLaMa-3模型的零样本表现从18.6%的成功率提升至81.7%，经过一天的自主数据收集后提升了340%。在线搜索后，成功率进一步提高至95.4%。这些结果突显了该方法在提高自主网页代理效率和改进能力方面的卓越表现。

结论

MultiOn的Agent Q为自主网页代理设立了新的里程碑，通过结合先进的搜索技术、AI自我批判和强化学习，克服了当前技术的限制，代表了自主代理能力的重大飞跃。随着我们继续改进这些方法并解决相关挑战，距离全面发布这一产品的日子越来越近。智能自主网页代理的未来充满了希望。

这项突破性的研究将在今年晚些时候向MultiOn的开发者和消费者用户开放。

Agent Q: Breakthrough AI Research in Self-Healing Web Agents | MultiOn — MultiOn AI