桃子桃子快讯
返回首页
工具

Fireworks AI 推出 Legacy-Bench,Factory AI 加入专项智能指数

Fireworks AI 宣布 Factory AI 加入「专项智能指数」,并新增 Legacy-Bench,用以测试大…

2026.09.25 · 周五2 分钟阅读

Fireworks AI 在其官方 X 账号宣布,Factory AI 加入其维护的「Specialized Intelligence Index」(专项智能指数),并同步推出 Legacy-Bench 评测体系。Legacy-Bench 聚焦于大模型在遗留代码场景中的实际表现,测试范围覆盖薪资系统、财务结算等企业关键业务系统背后的软件逻辑。

专项智能指数扩容

Fireworks AI 表示,专项智能指数持续扩充,现已纳入 Legacy-Bench 作为新的评测维度。该指数面向不同行业场景设立专项基准,旨在衡量模型在垂直任务中的真实可用性,而不仅仅是通用能力。Legacy-Bench 的加入意味着指数开始关注模型对存量企业系统的理解和改造能力,这一方向在过去的主流榜单中较少被覆盖。

面向私有基准开放投稿

Fireworks AI 在公告中提到,Legacy-Bench 现已开放投稿通道,鼓励拥有私有评测集的厂商和研究团队提交并被收录。这一机制类似此前 MLPerf 等行业基准的做法,由第三方提供专用数据集,模型开发方按统一协议参与评估,从而避免自评自测带来的偏差。

信息有限,细节待补

截至目前,Fireworks AI 尚未公开 Legacy-Bench 的具体题量、覆盖语言、评分规则,以及 Factory AI 提交模型的实测成绩。该基准面向遗留软件场景的测试颗粒度、是否包含真实生产代码、是否区分静态分析与动态执行,均需后续官方文档披露。读者如关注具体排名和能力对比,建议等待首批公开榜单后再做判断。

信源