腾讯开源 UI-Mate-27B：面向长任务 GUI 智能体的开放权重模型

腾讯在 Hugging Face 上开源了 UI-Mate-27B，这是一款面向「通用计算机使用」场景的开放权重 GUI 智能体基础模型，参数规模 27B，采用 Apache-2.0 许可，配套发布论文、代码与项目主页。该模型以 Qwen3.6-27B 为基座，经过监督微调与可执行 GUI 环境中的在线强化学习训练而成。

模型定位

UI-Mate-27B 的核心目标是让模型能够像人类一样观察实时屏幕、推理可见状态，并产出结构化的键盘与鼠标操作，从而在原生桌面环境中完成长链路任务。其设计强调两个能力：

• 通用计算机使用：根据自然语言指令与当前屏幕截图直接执行任务。
• 示范引导的计算机使用：从一次成功示范中提取可复用的工作流，并迁移到新任务上。

值得注意的是，示范在这里被视为「引导」而非「固定脚本」。当界面内容、布局或应用状态发生变化时，模型会基于实时画面重新规划，而不是机械地复刻坐标与动作序列。

技术细节

模型输入包括任务说明、屏幕截图、交互历史以及可选的示范上下文；输出则包含推理过程、简洁的动作描述，以及结构化的 computer-use 工具调用。其动作空间覆盖鼠标、键盘、滚动、等待、用户交互与任务完成等典型操作。

关键规格如下：

• 参数量：27B
• 基座模型：Qwen3.6-27B
• 训练方式：监督微调（SFT）+ 可执行 GUI 环境中的在线强化学习
• 动作兼容性：与 pyautogui 结构化动作兼容
• 服务接口：提供 OpenAI 兼容的服务端与客户端接口
• 许可协议：Apache-2.0

主要亮点

• 在 Ubuntu 与 Windows 基准上展现较强的通用计算机使用能力。
• 支持跨多个应用的长链路任务执行。
• 支持基于一次示范的一次性过程学习（one-shot procedural learning）。
• 以实时屏幕内容为锚点进行定位，而非依赖坐标回放。

资源链接

• arXiv：https://arxiv.org/abs/2608.15930
• PDF：https://arxiv.org/pdf/2608.15930
• GitHub：https://github.com/Tencent/UI-Mate
• 项目主页：https://ui-mate.github.io/ （含演示、基准与截图）
• HuggingFace：https://huggingface.co/collections/tencent/ui-mate

UI-Mate-27B 的开源为 GUI 智能体方向提供了一个来自中国大厂的 27B 级别基线选择，结合 Apache-2.0 许可与 OpenAI 兼容接口，开发者可以直接基于其权重进行二次微调或部署，应用于自动化办公、软件测试等长任务场景。