ProcAgent：面向边缘设备的程序性任务智能体框架

研究团队发表论文，提出 ProcAgent——一个完全在边缘设备上运行的程序性任务智能体框架。该系统专为家具组装、家电维修等需要解读说明书、跟踪进度、推理空间状态并应对错误的家庭场景设计。

研究背景与动机

程序性任务（如家具组装、家居维修）对用户的认知负担较重：既需要理解指令、跟踪进度，也需在物理操作中处理偏差与异常。已有的多模态助手大多依赖云端推理与「始终开启」的感知管线，难以兼顾隐私敏感、低延迟的家庭使用场景。

研究团队认为，边缘部署的智能体在隐私、响应速度和离线可用性上具有天然优势，但挑战在于：算力受限的情况下，如何兼顾持续感知与高成本的视觉推理。

系统架构

ProcAgent 采用「提议—验证」（propose-and-verify）架构，运行在单台 NVIDIA Jetson AGX Orin 上，主要由四部分组成：

• 低延迟持续感知模块：实时跟踪用户操作与场景变化；
• 符号化任务图：建模步骤依赖与当前进度；
• 按需视觉-语言验证：仅在歧义或疑似偏差出现时才调用昂贵的视觉推理；
• 基于 LLM 的交互智能体：负责自然语言问答与主动干预，并通过人在回路确认机制避免误判。

该设计使系统在不进行视觉推理时保持轻量，仅在需要时调用高成本模块，从而在边缘算力下兼顾响应速度与判断准确性。

性能与用户评测

研究团队沿四个维度对 ProcAgent 进行了评估：感知准确性、推理质量、任务级表现与用户体验。

• 完全本地运行下，文本类查询响应时间约 2 秒；
• 视觉接地查询响应时间约 8 秒；
• 10 人参与的组装任务用户研究显示，系统在「可理解性」「可操作性」「隐私安心感」三项指标上获得正面评价。

意义与局限

论文表明，借助提议—验证式架构与按需视觉推理，自适应的程序性任务辅助可完全在边缘硬件上实现，且不牺牲可用性。研究团队未公开与云端基线系统的详细对比，也未给出大规模用户样本数据，因此结论的普适性仍有待后续工作验证。