Vellum 推出 Ambient Assistants：可在任意 Mac 应用上方悬浮的 AI 助手

AI 开发平台 Vellum 推出了一项名为「Ambient Assistants」的新功能。该功能以悬浮药丸（floating pill）的形式覆盖在任意 Mac 应用之上，可实时读取用户屏幕内容，并将上下文直接来源于屏幕上正在操作的窗口，而不再依赖截图、粘贴链接或长串 prompt。

核心交互方式

根据 TestingCatalog 在 X 上发布的信息，Ambient Assistants 的核心能力体现在以下几个方面：

• 实时屏幕理解：助手悬浮于任何 Mac 应用之上，能够「看到」屏幕上正在显示的内容，无需用户手动复制粘贴或截图。
• 语音任务交接：用户可以在不离开当前应用的情况下，通过语音将任务交给 Vellum 助手处理，助手在后台运行。
• 屏幕标注指引：面对陌生工具时，助手可以直接在屏幕上圈出应当点击的按钮、设置项或指标。
• 流程录制与执行：用户可以在屏幕上展示一遍例行操作并口述说明，助手生成执行计划并经用户批准后重复执行。

与传统助手的差异

过去用户向 AI 助手提供上下文时，通常需要手动截取屏幕、复制粘贴文本，或撰写较长的 prompt 来描述背景。Ambient Assistants 的设计思路是将「屏幕本身」作为上下文来源，助手像一层透明的覆盖层一样附着在应用表面，既能观察，也能直接在屏幕上进行可视化标注。

适用场景与局限

从已披露的功能描述来看，Ambient Assistants 更偏向于操作引导和流程自动化两类场景：前者帮助用户在陌生软件中找到正确选项，后者把一次性的人工操作固化为可重复执行的助手任务。

需要指出的是，目前公开信息仅来自 TestingCatalog 的 X 帖文，Vellum 官方尚未发布完整的产品文档或定价细节，因此该功能的具体支持范围、是否需要联网、是否面向所有用户开放等问题仍有待官方进一步确认。