西湖大学发布会：智能体 AppAgentX 自我进化，手机玩得更上瘾

AppAgentX：改变你的手机玩法！

　　 人工智能正在经历一场空前的变革，其中，大规模语言模型（LLM）的兴起促进了智能系统从单纯的信息处理转向更加自主的交互模式。

　　 以DeepSeek为代表的大型语言模型，凭借出色的语言理解和推理能力，在文本创作、编程辅助以及复杂任务规划等方面展现出了卓越的性能。

　　 然而，LLM 的潜力远不止于文本生成，它们正在塑造一种全新的智能体形态——GUI 代理（GUI Agents）。这类智能体不仅能够理解指令，还能像人类一样直接操作计算机和手机，摆脱了对预设规则或 API 的依赖，从而带来更加自然和高效的交互方式。这使得 AI 真正融入软件生态系统，成为智能操作系统的一部分。 这种技术的发展无疑为未来的软件应用提供了无限可能。GUI 代理的出现意味着人机交互方式将迎来一场革命，用户可以通过更为直观的方式与设备进行互动，而无需深入了解复杂的操作流程。这不仅提升了用户体验，也大大降低了使用门槛。然而，随着 GUI 代理越来越智能，如何确保其安全性以及用户隐私保护将成为一个不容忽视的问题。此外，还需要考虑如何在不同平台之间实现兼容性，以确保这些智能代理能够在各种设备上顺畅运行。总体而言，GUI 代理的崛起标志着人工智能技术迈向了一个新的里程碑。

　　 问题在于，当前的大型语言模型代理尽管拥有卓越的推理能力，但在任务执行效率方面仍显不足。

　　 为了解决这一问题，西湖大学AGI实验室张驰团队推出了一款名为AppAgentX的新工具。这是一款拥有自我进化能力的图形用户界面（GUI）代理软件。它能够通过持续的任务执行过程来学习和优化自己的行为模式，从而实现更高效的交互操作。

　　 AppAgentX 的核心创新在于：

　　 代理系统在运行过程中能够识别出那些频繁出现的操作模式，并将其整合为更为高级的一键式操作。这种功能不仅简化了复杂的工作流程，还极大地提升了工作效率。通过这种方式，用户可以节省大量时间，专注于更具创造性和策略性的任务上，从而提高整体生产力。

　　 传统的LLM代理在每次执行任务时都需要重新思考操作流程，这无疑增加了时间和资源的消耗。相比之下，AppAgentX则能够记住并复用之前的执行策略，有效避免了重复推理的过程，使得任务执行更为流畅高效。 这种设计不仅提高了工作效率，还减少了不必要的计算负担，对于需要频繁处理复杂任务的应用场景来说，AppAgentX无疑是一个非常实用的工具。它通过记忆和复用已有的策略，大大缩短了任务处理时间，提升了用户体验。未来，我们期待看到更多类似的技术革新，以进一步优化工作流程，提高整体效率。

　　 AppAgentX完全依赖于视觉识别技术，无需访问后端API，因此能够广泛应用于各种软件和设备上。它真正做到无需额外配置即可使用，无论是在何种软件环境或设备上都能轻松运行。

　　 过去，计算机的自动化操作主要依赖 RPA（机器人流程自动化），通过预设规则或 API 进行固定任务的执行。然而，这种方式需要大量手动配置，缺乏灵活性。

　　 GUI代理的兴起彻底改变了这一局面，被广泛誉为软件世界中的具身智能。GUI代理不仅简化了用户与计算机交互的过程，还极大地提升了用户体验。通过图形界面，用户能够更直观地操作和管理软件应用，这在很大程度上降低了使用门槛，使得更多非专业用户也能轻松上手。此外，GUI代理的发展也为软件开发者提供了更为友好的工具，促进了应用程序的创新和多样化。总的来说，GUI代理的普及标志着人机交互技术迈入了一个全新的时代。

　　 GUI 代理不依赖后端 API，而是像人类一样，通过屏幕视觉、鼠标和键盘直接操作软件界面。这意味着，智能体可以自主学习如何操作各种应用程序，甚至能够在不同软件之间切换，执行复杂的跨应用任务。例如：

　　 办公场景：自动整理文档、批量发送邮件

　　 娱乐与创作：使用 Photoshop 处理图像、生成视频内容

　　 自动化操作：批量录入数据、自动处理订单

　　 跨应用任务：从网页爬取信息后填入 Excel、在多个软件之间进行联动操作

　　 正因如此，GUI代理被视为智能助手、数字员工、自动化测试等领域的新一代解决方案，但目前面临的挑战依然明显：现有的智能体虽然聪明却不够高效。

　　 现有的大型语言模型代理一般使用逐步推理的方法，即在每次执行操作之前，模型都需要推断下一步的动作。比如，在进行网络搜索时，它可能会这样进行决策：

　　 识别需要搜索的信息；

　　 点击搜索框；

　　 输入关键词；

　　 点击搜索按钮。

　　 这种方法显著提升了智能体的泛化能力，使它们能够在新任务场景中灵活应对，但同时也导致了执行效率低下和大量重复计算的问题。为了解决这一难题，AppAgentX提出了一个核心策略：让智能体学会“进化”。通过这种策略，智能体可以在不断学习的过程中优化自身性能，从而减少不必要的重复工作，并提高整体工作效率。 AppAgentX的方法不仅为智能体的广泛应用铺平了道路，还展示了人工智能领域在追求高效能与灵活性之间的平衡。这标志着我们在构建更加智能、自主的学习系统方面迈出了重要一步。

　　 下面是一个AppAgentX执行播放音乐功能的例子说明，当用户发现了一键操作时，便无需在每一步骤上花费过多时间去考虑接下来的操作，从而能够更高效地完成任务。

　　 在智能体的发展过程中，我们观察到一种高级操作——“搜索”的出现，它有效地替代了一连串低效的低级操作。这种进化不仅避免了繁琐且耗时的逐步推理过程，还显著提升了智能体的工作效率。这一变化表明，随着技术的进步，人工智能系统正变得更加智能和高效，这无疑为未来更复杂的任务处理铺平了道路，同时也预示着人工智能将在更多领域发挥关键作用。

　　 在执行任务时，AppAgentX会将整个过程分解成多个重叠的三元组（即由三个部分组成的组合）。这些三元组包含了页面内容和用户界面（UI）元素的功能描述。具体来说，它能够将复杂的操作步骤简化为更易于理解和管理的小单元，从而提高了工作效率和用户体验。 这种设计思路不仅让软件操作变得更加直观，还显著提升了用户的满意度。通过这种方式，即使是复杂的应用程序也能被快速掌握，使得用户可以更加专注于任务本身，而不是被繁琐的操作流程所困扰。这种创新的方法无疑为软件设计提供了一个新的视角，并且有望在未来得到更广泛的应用。

　　 利用大语言模型（LLM），我们能够为每一个页面和界面元素生成详细的说明。这些描述有助于智能体更好地理解各个组件的功能。这一技术的应用无疑是一个巨大的进步，它不仅提高了开发效率，还让复杂的系统变得更加透明易懂。通过这种方式，我们可以确保即使是复杂的用户界面也能被轻松解析和理解，这对于提升用户体验至关重要。此外，这种自动化的过程也减少了人为错误的可能性，使得产品设计和开发过程更加高效和精确。

　　 如果某些页面的描述内容是重复生成的，智能系统会将其合并，以避免冗余信息的出现。

　　 在整个交互过程中，系统会将每次互动详细记录下来，形成一条条节点链，最终构成一份完整且详细的操作历史。这样的设计不仅有助于用户追踪和回顾之前的步骤，也为解决问题提供了极大的便利。 这一设计体现了对用户体验的高度关注。在信息爆炸的时代，能够方便地回溯操作路径无疑大大提升了系统的实用性和友好性。此外，这种全面记录的方式也增强了系统的透明度，让用户对自己的每一次点击都有迹可循，从而更加放心地使用产品。

　　 在任务执行过程中，AppAgentX 还引入了一种进化机制，使得智能体能够更高效地执行操作。这个机制的核心在于生成“捷径节点”，允许智能体在执行一系列操作时，跳过逐步推理的过程。具体步骤如下：

　　 生成捷径节点：当智能体识别到某些操作具有固定的执行顺序时，它会创建捷径节点。这些节点将多个底层操作整合为一个更高级的动作。

　　 高效执行：通过激活这些快捷节点，智能体能够迅速完成一连串的操作，而不需要对每一步都进行详细的推理分析。这样显著提升了任务执行的效率。

　　 根据实验结果显示，AppAgentX在多项GUI交互任务中，无论是单步执行效率还是整体API token消耗方面，都表现出了明显的“降本增效”优势。

　　 总体来说，AppAgentX作为一项创新的移动终端交互技术，通过构建链式知识存储架构和动态匹配执行机制，在保持大型语言模型代理灵活性的同时显著提升了执行效率，实现了无需后端访问的图形界面智能操作系统。

　　 这项技术突破性地解决了传统智能体在反应速度与认知能力之间难以兼顾的问题，为移动设备上的AI应用开启了新的技术方向。这一研究成果不仅在提升效率和增强智能的动态平衡上取得了重要进展，还为人机交互领域贡献了一种可扩展的技术模式。

　　 项目地址：https://appagentx.github.io/

　　 Github 地址：https://github.com/Westlake-AGI-Lab/AppAgentX

　　 Arxiv 地址：https://arxiv.org/abs/2503.02268

　　 本文来自微信公众号：量子位（ID：QbitAI），作者：西湖大学，原标题《AI操控手机技术再升级！西湖大学推出新型智能体：AppAgentX具备自学习功能》