下一代 Windows 系统「UFO」曝光：首个 Windows Agent 来袭？

「UFO」是专为 Windows OS 交互设计、面向 UI 的智能体框架，由 MSRA、微软 AI 等团队等共同打造。

撰文：白交、衡宇，凹非寺

来源： 量子位

下一代 Windows 操作系统提前曝光了？？

微软首个为 Windows 而设的智能体（Agent）亮相：

基于 GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是 GPT-4 的两倍，GPT-3.5 的四倍。

比如，删除 PPT 演示文稿上的所有备注，几个简单步骤就可完成。

还有像利用多个来源文本，比如 word 文档、图像文本内容，撰写电子邮件。

网友表示：这才是 Windows 级别应有的创新能力

第一个 Windows Agent 来了

这样一个智能体叫做 UFO，全名「UI-Focused」，是一个专为 Windows OS（操作系统）交互设计、面向用户界面（UI）的智能体框架，可以在单个或者多个应用程序中操作，由 MSRA、微软 AI 与应用研究团队等共同打造。

用户就可以通过自然语言指令，来操作 App 的用户界面。

据介绍，UFO 是第一个专为 Windows OS 环境中的任务完成量身定制的 UI Agent。

就拿删除 PPT 上的所有注释为例。传统方式需要一页一页手动删除注释。如果 PPT 巨长无比，这个过程就会又久又无聊，让人瞬间暴躁。

但 UFO 得到指令后，简化了整个过程。

它先是提议用「删除所有演示笔记」功能，这个功能因为按钮位置藏得很深，经常被用户忽视。

而后，UFO 导航到「File」选项，对后台视图进行访问；然后，再平滑地切换到「info」菜单，单击「检查问题」按钮，并选择「检查文档」，开始检查文档中所有包含的注释。

紧接着，UFO 识别到菜单地步的「删除所有演示笔记」，向下滚动定位到其位置，启动单击功能。

考虑到误删的可能性，UFO 这里有一道保护功能，需要用户再次确定是否真的要删除所有注释。

用户一旦确认，所有笔记就「图片」的一下都没有了～

如 PowerPoint 这般，文章中对其它几个场景进行了图文并茂的展示。

比如读一篇 PDF：

设计 PPT 格式：

下载 Docker 拓展：

发条推文：

搜索总结：

读篇 paper：

以及怎么利用 UFO 在 Word 文档里提取文本、描述图像、撰写然后发送电子邮件等。

研究团队在 9 个常用的 Windows 应用程序上对 UFO 进行了测试，包括 Outlook、Photos、PPT、Word 等，涵盖了 Windows 用户的高频使用场景，能够测试工作、交流、编码、阅读、网页浏览等目的。

对于每个应用程序，团队设计了 5 个不同的请求，共 45 个；另外还设计了 5 个设计跨多个交互应用程序的请求。

也就是说，共产生了 50 个请求，每个应用程序至少有一个请求链接到另一个后续请求，提供全面评估 UFO 的互动模式。

在评估指标方面，则从成功度、步骤、完成率和保障率这几个角度来评估 UFO。

为了全面评估 UFO 的性能，团队开发了名为 WindowsBench 的测试基准。

考虑到没有现成的 Windows Agent，团队选择 GPT-3.5 和 GPT-4 作为基座模型，并且指示它们提供一步一步的指导来完成用户请求。

值得注意的是，UFO 在 WindowsBench 上成功率达到了 86%，成倍超过了 GPT-4——因此 UFO 可以被定位为一个高效的 Agent。

而 UFO 的完成率也是最好的，这表明它有能力采取更精确的动作；此外，UFO 完成任务的步骤也是最少的，安全度也是最高的。

最后，9 个场景从 4 个角度在 WindowsBench 的详细得分如下：

三个模块组成

既然如此，这样一个操作系统级别的 Agent，究竟是如何实现的呢？

首先，它理解用户的自然语言要求，然后将其分解为一系列子任务。然后观察用户界面，并对其控制元素进行操作，以实现总体目标。

既然如此，又是如何实现的呢？

架构上看，UFO 是个双 Agent 框架，主要有三个模块：

• 应用智能体（AppAgent），选择一个应用程序满足用户请求。
• 行动智能体（ActAgent），负责在所选应用中反复执行任务。
• 交互控制，无需人工干预，全自动执行。

在收到用户请求后，AppAgent 会对需求进行分析。除此之外，还有这些信息作为输入：桌面截图、App 信息、记忆以及示例。

其中，UFO 为 AppAgent 提供了完整的桌面截图和可用应用程序列表以供参考。

然后从当前激活的应用程序中选择一个合适的应用程序，并制定一个全局实现计划，将其传递给 ActAgent。

一旦找到合适的应用程序，App 就会出现在桌面上。随后 ActAgent 启动操作。

在每个操作选择之前，UFO 都会捕获当前应用程序用户界面窗口的屏幕截图，并标注所有可用控件。此外，UFO 还记录了每个控件的相关信息，供 ActAgent 观察。

ActAgent 的任务是选择要操作的控件，然后通过控件交互模块选择要在所选控件上执行的特定操作。

这一决定是基于 ActAgent 的观察结果、先前计划和操作记忆做出的。

这个递归过程一直持续到用户请求在所选应用程序中成功完成为止。至此，用户请求的一个阶段结束。

如果需要跨越多个应用程序，那么在 ActAgent 完成当前任务之后，ActAgent 将把任务委托给 AppAgent，以便切换到不同的应用程序，从而启动请求的第二阶段。

用户可以选择提出新的请求，促使 UFO 通过重复上述过程来处理新任务。

研究团队依据日常鼠标操作，还开发了自定义操作，比如单击、选择文本、滚动等，以此来完成对于控件的操作。

主要有这些控制类型：

微软全球资深副总裁、MSRA 副院长领衔

最后介绍一下 UFO 的研究团队，其中大多数都为华人。

通讯作者 Chaoyun Zhang，是微软 DKI（Data、Knowledge、Intelligence，数据 / 知识 / 情报）小组的高级研究员。

他于 2020 年，在爱丁堡大学获得硕士和博士学位，研究兴趣包括时间序列建模、时空数据挖掘、因果推理以及云服务和 AIOps 的可解释机器学习。

Chaoyun Zhang 还是华中科技大学校友，出国前在华中科技大学电子信息与通信学院取得学士学位。

作者 Liqun Li，现为微软 DKI 组首席研究员。

他先毕业于清华大学计算机科学与技术系，取得学士学位；而后又在 2012 年获得中国科学院软件研究所博士学位。期间，Liqun Li 曾作为访问学者前往密歇根州立大学。

作者 Saravan Rajmohan，Miceosoft 365 的 AI 及应用研究的合作伙伴总监。

他领导应用研究团队与 Microsoft 的各个研究小组进行深入协作，将算法研究与 AI/ML 技术和硬件创新相结合

作者张冬梅，MSRA（微软亚洲研究院）常务副院长，微软杰出首席科学家。

她从 2004 年起加入 MSRA，从事和领导 DKI 领域的研究工作，近几年，团队将研究扩大到商业智能领域。

作者张祺，微软全球资深副总裁。

此前，张祺曾任微软（亚洲）互联网工程院常务副院长，兼任微软移动联新互联网服务有限公司董事长，负责微软互联网业务及人工智能平台在亚洲的团队。

同时，他也是微软中国首位「全球杰出工程师」。

最后，简单介绍一下多位作者的工作单位：MSRA 的 DKI 组。

DKI 是 Data、Knowledge、Intelligence 的简写。

该小组致力于 AI、数据分析、数据交互、数据可视化的研究，探索全新的数据分析、展示、交互技术，让数据和数据中的发现故事被高效地理解、广泛地传播。

团队与微软产品如 Excel，PowerPoint 等深度合作，常年在各个领域的顶会和期刊上发表论文。