Wolfram 推出 LLM 基准测试项目，以 Wolfram Language 代码生成为核心任务

Stephen Wolfram 团队近日宣布启动「Wolfram LLM Benchmarking Project」，持续追踪并公开大语言模型（LLM）在特定代码生成任务上的表现。项目首期聚焦的任务是：将英语自然语言描述转化为 Wolfram Language 代码。

项目背景与目标

Wolfram 长期是 LLM 技术的重要使用者与分析者，此次启动基准测试项目旨在为社区提供一套可复现、可量化的评测方式。项目计划持续更新结果，首批数据已以可计算形式发布在 Wolfram Data Repository 中，供研究者与开发者下载和分析。

测试任务设计

任务的核心设置如下：

• 输入：英语语言写成的功能规范或问题描述；
• 输出：对应的 Wolfram Language 代码；
• 测试用例：来源于 Stephen Wolfram 所著《An Elementary Introduction to the Wolfram Language》，该教材已被数百万学习者在线完成；
• 评判方式：借助 Wolfram 已有的工具对生成代码进行功能性正确性检查。

这一设计利用了大量人类已完成的历史数据，使得评分标准相对客观，避免了纯人工评判带来的主观偏差。

当前披露的内容

本次公开的信息以项目介绍与测试框架为主，明确了：

• 数据集与评测工具可向 Wolfram 申请获取；
• 接受 LLM 开发者联系，将其模型纳入后续评测；
• 当前可见的页面包含一份对比表格，但具体模型成绩、排名及详细数字需前往 Wolfram Data Repository 查看原始数据。

意义与局限

该项目填补了 Wolfram Language 这一垂直领域缺乏标准化基准的空白，对使用 Wolfram 技术栈的研究者和企业用户具有参考价值。不过，由于 Wolfram Language 在主流 LLM 评测中的覆盖率较低，该基准对通用模型选型的直接指导意义有限。其更大的价值在于为小众 DSL（领域特定语言）的代码生成能力评估提供一个可复制的范本。

对希望将自己的模型纳入评测的团队，可通过官方页面提供的联系方式与 Wolfram 团队对接。