手机的大模型智能代理-AppAgent

AppAgent是腾讯与德州大学达拉斯分校的研究团队合作开发的一个项目。AppAgent的功能与AutoGPT等智能代理类似，不依赖于操作系统的后台访问，而是通过UI界面进行点击、滑动等拟人化操作，与App进行交互操作，通过自主学习和模仿人类的点击和滑动手势，在手机上执行各种任务，包括在社交媒体上发帖、帮助用户撰写和发送邮件、使用地图、在线购物，甚至进行复杂的图像编辑。

开源地址：https://github.com/mnotgod96/AppAgent

论文地址: https://arxiv.org/abs/2312.13771

项目地址：https://appagent-official.github.io/

传统的手机助手如Siri，主要是通过系统后端访问和函数调用来实现自动化操作。这种方式有一个很大弊端，就是需要访问用户的隐私、敏感数据，可能会出现很严重的数据安全问题。

而AppAgent采用了一种和RPA类似的方法，通过点击、滑动等模拟方式来操作APP，无需访问任何敏感数据，同时加上了大语言模型的理解和学习能力，使其效果更加出色以及增强适配性。

作为一个基于大语言模型的多模态代理，AppAgent能够处理和理解多种类型的信息，使得它能够理解复杂的任务并在各种不同的应用程序中执行这些任务。它能够通过模仿人类的直观动作来与智能手机应用程序交互，就像一个真人用户一样。通过观察和分析不同应用程序中的用户界面交互，AppAgent能够自主学习并构建知识库，记录了不同应用程序的操作方法和界面布局，以便指导代理在不同应用程序中执行任务。一旦学习了应用程序的操作方式，AppAgent就能够执行跨应用程序的复杂任务。

感兴趣的朋友们可以自行去研究，关注我，每天分享好东西！