太强了！腾讯开源！多模态AppAgent自主操作智能手机应用程序！

AppAgent是一款基于大型语言模型（LLMs）的新型多模态智能代理框架，专为操作智能手机应用而设计。它结合了GPT-4V的先进视觉理解能力，通过“眼睛”观察手机界面，模仿人类的点击和滑动交互方式来学习操作应用程序。这种方法避免了直接访问系统后端的需求，使其适用于多种应用程序。AppAgent的学习方式类似于人类，需要首先理解各个按钮的功能，然后进行尝试，遇到困难时会寻求帮助或观察示范。这种自主探索或观察人类操作的学习方法不仅提高了学习效率和准确性，也使其能够在执行任务时参考所生成的知识库。

为验证AppAgent的实用性，研究团队对其在10种不同应用中执行的50个任务进行了测试，包括在谷歌地图上输入目的地并设置导航路线、编写和发送电子邮件，以及在Lightroom上进行自动修图等任务。测试结果证明了AppAgent在处理多样化的高级任务，如社交媒体、电子邮件、地图、购物和图像编辑工具等领域的高效能力。

项目地址：https://github.com/mnotgod96/AppAgent
论文地址：https://arxiv.org/abs/2312.13771

AppAgent具备两种关键的学习模式，旨在增强其学习和适应能力，这也是其核心功能的一部分。

自主探索模式：在这种模式下，AppAgent与应用程序进行直接交互，执行各种操作，如点击按钮、滑动屏幕等。通过这种交互，AppAgent能够观察到不同的反馈和结果，并从中学习如何正确操作应用程序。这种学习方式使得代理能够逐渐积累知识和经验，并建立起关于应用操作的详尽知识库。这种自主探索使AppAgent能够在没有直接指导的情况下独立学习和适应。

观察人类示范模式：在这个模式中，AppAgent专注于观察人类用户操作应用程序的具体方式。通过分析和理解这些示范行为，AppAgent可以学习到正确的操作方法。这种观察人类示范的方法使代理能够迅速学习和适应新的应用程序，因为它可以直接借鉴人类用户的经验和技巧。这一过程类似于大型模型中的人类反馈强化学习（RLHF）。

综合这两种学习模式，AppAgent能够深入理解应用程序的界面结构、功能和操作规则。这样的学习策略不仅提高了代理在不同应用程序间执行复杂任务的能力，还使其在真实世界环境中展现出高效和熟练的操作性能。

下面是该项目Star趋势图，可以看出关注度一直在上涨。