BatchDAG:用 LLM 规划执行图提升企业数据分析效率
arXiv 论文提出 BatchDAG 系统,让 LLM 生成有向无环图来调度 SQL、语义搜索等操作,在企业级转录数据…
企业级数据分析往往涉及跨实体、跨文档的复杂查询,而现有 LLM 在处理这类任务时普遍面临上下文溢出、实体归属丢失以及串行工具调用带来的线性延迟等问题。arXiv 上发表的一篇论文提出 BatchDAG 系统,将自然语言问题转化为由 LLM 生成的有类型有向无环图(DAG),再由确定性引擎以拓扑波并行方式执行,试图在保证可解释性的同时提升吞吐量与可追溯性。
系统设计:从自然语言到可执行 DAG
BatchDAG 的核心思路是让 LLM 充当「规划者」,一次性输出一张包含 SQL 查询、语义搜索、内存转换、并行扇出以及单次分析等节点的有类型 DAG。这张图随后交由不依赖 LLM 的确定性引擎执行,节点之间通过结构化 JSON 进行数据流转,避免了自然语言摘要带来的歧义。
论文中特别强调的一项优化是「实体感知批处理」(entity-aware batching):在扇出执行前按逻辑实体对数据行进行分组,从而显著压缩需要送入 LLM 的调用次数。论文报告该优化最高可将 LLM 调用次数减少 47 倍。
实验结果:质量与可追溯性双优
研究团队在 12 条以会议转录为主的重型查询上进行了受控对比实验,主要结果如下:
- BatchDAG 平均质量评分 3.74/5,略高于专家手工设计的流水线(3.25/5);
- 相比基于 ReAct 框架的智能体(3.09/5)有统计学显著提升(p<0.01);
- 证据溯源率方面,BatchDAG 达到 77% 的转录证据命中率,明显高于基线的 46%–60%;
- 一项消融实验显示,使用结构化 JSON 作为中间表示相较于自然语言摘要,可将幻觉降低约 27%(配对 t 检验 p=0.107,n=12)。
此外,规划器在 300 次规划调用中产出了 98.8% 的合法 DAG,表明 LLM 生成可执行计划的稳定性较高。
生产部署:5 万条会议记录的实时分析
BatchDAG 并非停留在论文层面。系统在 Brevian.ai 处于生产状态,可对超过 5 万场会议记录发起查询,端到端响应时间控制在 60 秒以内。按论文披露的 GPT-5.1 公开价格计算,单次查询成本介于 0.02–0.24 美元。
需要指出的是,论文作者明确表示 BatchDAG 并非主要面向精度提升,而是希望替代多套手工编排的工作流,让用户以自然语言描述需求,由系统自动选择合适的执行策略。对于需要在企业知识库中开展可追溯、批量分析的场景,这一思路提供了一种介于纯检索增强(RAG)与完全自主智能体之间的中间路径。
