字节 Seed 发布 EdgeBench：发现 Agent 的 Scaling Law

字节跳动 Seed 团队近日发布长程 Agent 评测项目 EdgeBench，用 134 个横跨六大领域的任务、约 3.8 万小时的 Agent 交互数据，发现了 Agent 在陌生环境中「持续学习」所遵循的数学规律——一条以 log-sigmoid 函数精确拟合的 Scaling Law。这套实验体系不仅给出了 Agent 能力演化的可预测曲线，也把「评测」从静态快照推向了动态轨迹。

EdgeBench：一个长程 Agent 的「环境学习观察舱」

与传统 benchmark 给一道题、评一个分的做法不同，EdgeBench 把 Agent 扔进一个陌生任务环境，要求其连续运行至少 12 小时，期间可自由探索、犯错、读反馈、修正、再试。任务覆盖科学/机器学习、软件工程、组合优化、专业知识工作、形式化数学、交互式游戏六大领域。

每个任务平均消耗约 57.2 小时的人类专家构建时间，最长单一任务投入 320 小时。运行阶段，五个前沿模型（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）在每项任务上重复 3 次，并延伸至 72 小时以上，总计产生约 38,000 小时的 Agent 交互时长，对应海量 API 调用与算力消耗。这一资源门槛本身就意味着，长程 Agent 评测并非一般团队可轻易入场的方向。

四大核心发现：从公式到速度

1. 学习曲线被同一条数学公式写死

134 个任务的平均学习曲线可被 log-sigmoid 函数以 R² = 0.998 的精度拟合。无论是 12 小时、28 小时还是 72 小时的实验窗口，拟合精度全部保持在 R² ≥ 0.993；六大任务家族各自拟合，R² 也落在 0.972 到 0.998 之间。这条曲线的体感是：起步慢、找到方向后爆发、接近天花板时再放缓，与人类深度学习的经验高度吻合。

2. 没有「标准」的成长路径

平均曲线虽漂亮，单任务曲线之间却差异极大：有的稳步上升，有的长时间平台后突然跃升，有的先涨后跌再涨。不同的试错策略会在同一评分框架下产生截然不同的成长路径。只看最终分数的评测方式，会完全抹平这一维度。

3. 「重新理解问题」创造真实进步

对比实验显示：让 Opus 4.8 连续跑 12 小时并保留所有中间产物（方案 A），比拆成 6 次独立的 2 小时运行、每次清空状态（方案 B），最终多出 6.9 分。两条曲线从一开始就分道扬镳。引力波重建任务中，GPT-5.5 在 12 小时内提交 224 次，但真正推动成绩进步的只有 27 次——突破来自对问题理解的质变，而非「多跑一次实验」。

4. 学习速度本身正在被「学习」

在起跑线相近的任务上，从 2025 年 9 月的 GPT-5-Codex 到 2026 年 4 月的 GPT-5.5，221 天内 Agent 的学习效率提升约 8 倍，大约每 3 个月翻一番。后期模型的有效提交率上升，但提交次数不一定更多——不是更勤快，而是每次动手更有效。

评测环境与开源工程

EdgeBench 测到的并非裸模型能力，而是「模型 + 工具 + 工作流 + 反馈系统」的组合能力。Claude Opus 4.8 运行于 Claude Code 加 1M 上下文窗口，GPT-5.5 运行于 Codex 加 256K 紧凑窗口，分数同时反映上下文管理、工具调用与执行框架的影响。

为防止 Agent 把反馈当预言机作弊，EdgeBench 采用「工作容器 + 裁判容器」的双环物理隔离机制，裁判打完分即销毁。这套框架被命名为 SForge，字节已将 134 个任务中的 51 个连同 SForge 一起开源，构建环境的门槛仍在，但使用入口已经打开。

行业启示：从「会不会做」到「会不会持续做」

短 benchmark 难以暴露的方向漂移、模块互相踩踏、反馈误读等问题，在 12 小时以上的长程任务中件件致命。EdgeBench 的价值，是把 Agent 评测标准从「会不会做」推进到「会不会持续做、学习、再做」。未来 AI 公司争夺的核心资源，可能不只是数据和算力，还包括能让模型反复试错、持续进化的环境。