Credence：基于本地 GGUF 模型的类型化概率决策推理运行时

Sonus Immersivus 在 GitHub 上开源了一个名为 Credence 的本地推理运行时，目标是从 GGUF 格式的语言模型中获取「类型化概率决策」。它依赖固定版本的 llama.cpp，刻意不绑定任何智能体（agent）框架，可被独立嵌入到其他系统中使用。

核心思路：不生成文本，只看 token 分布

Credence 与常见的对话式调用不同，它不会让模型自由生成一段文字回答，而是把决策限制在一组固定的标签集合内，从模型对下一个 token 的概率分布中直接打分。因此一次调用只需一次 prompt decode，即可返回：

• 布尔值（value）：最终决策结果；
• 原始概率（raw_probability）：模型分配给「true」的概率；
• 不确定性诊断：包括熵（entropy）、前两名概率差（top_two_margin）、答案一致性（answer_conformity），用于判断该概率是否值得采信。

如果没有指定 profile，则使用内置的通用 profile，以「Answer:」结尾的纯文本提示进行调用，并通过 A/B 标签解析结果；当词表把标签合并进前缀时，会回退到带前导空格的编码方式。

Phase 1 已交付的能力

当前 Phase 1 已完成的内容包括：

• 基于真实模型的布尔决策路径；
• 带显式语义的 profile 绑定标签；
• Qwen3 ChatML 风格的 profile，以及通用的原始文本 profile（在 BPE 词表上解析标签）；
• 单 token 与多 token 打分，以及 top-token 诊断信息；
• 两份带标签的评测集；
• 基于这两份评测集拟合的 Platt 校准（温度 + 偏置）。

后续阶段计划覆盖：多选操作（choose、score、rank）、模型与 profile 指纹校验、稳定的 C ABI 与 libcredence 嵌入式库、常驻守护进程（模型只加载一次）、MCP 适配器，以及 Llama、Gemma 等模型族的语言绑定与 profile。

模型与构建

仓库不提交任何模型权重，由 tools/fetch-test-models.py 管理固定清单并校验 SHA-256：

• qwen3-0.6b（Qwen3-0.6B-Q4_0，0.4 GB）：仅用于冒烟测试；
• qwen3-4b（Qwen3-4B-Q4_K_M，2.5 GB）：用于演示、评测与校准。

构建通过 CMake preset 提供，macOS Apple Silicon 默认使用 mac-metal-release（Metal 加速），Intel macOS 使用 mac-cpu-golden，Windows 下可通过 build.bat 构建 CPU 包，或设置 CREDENCE_WINDOWS_VARIANT=cuda 构建 CUDA 包。打包产物按平台分别输出到 dist/ 目录下。

评测与校准

tools/evaluate.py 会基于评测 JSONL 跑过 CLI，输出准确率、平均负对数似然、Brier 分数以及最低答案一致性——这样格式错误和决策错误可以被分开观察。tools/calibrate.py 则在同一份数据上拟合 Platt 校准：

sigmoid(logit(p) / temperature + bias)

拟合时使用 Platt 的平滑目标，避免模型已经完全分开的集合出现无有限最优解。校准后 value 跟随校准概率输出，结果里会在 decision_basis 中标明。当评测集较小时，拟合器会发出警告；当前仓库内置的两份评测集合计 22 条样本，作者明确表示「足以演示机制，但不足以在生产环境信任其结果」。

按仓库提供的数字：0.6B 模型在 22 条样本上几乎全部回答 true；4B 模型原始准确率为 21/22，校准后达到 22/22。具体细节可在 docs/phase-1-progress.md 与 docs/probability-semantics.md 中查阅。

许可与依赖

Credence 本身采用 Apache License 2.0，可商用、修改与再分发，只需保留版权声明与 NOTICE 中的归属信息；其依赖的 llama.cpp 以 MIT 许可证随附，详情见 THIRD_PARTY_NOTICES.md。当前项目仍处于 Phase 1，感兴趣的开发者可关注其 roadmap 中 C ABI、常驻守护进程与 MCP 适配器等后续里程碑。