SIMURG：实时拦截 LLM 解码崩溃的开源流式守护工具

在自托管或量化模型的生产环境中，LLM 的解码过程偶尔会「脱轨」：输出陷入重复循环、突然漂移到其他语言、倒背训练语料或喷出无意义符号。这种「解码崩溃」与事实性幻觉不同，它在 token 流中留下可观测的统计痕迹——重复率、词项多样性、字符分布、可压缩性、预测惊喜度都会偏离正常区间。基于这一观察，HAL-X AI 团队开源了 SIMURG（Streaming Integrity Monitor & Universal Regeneration Guard），主张在生成过程中就把坏输出拦下来，而不是等回答结束再做事后审查。

核心机制：零泄漏协议

SIMURG 的设计目标是「坏 token 永远不到达用户界面」。它维护一段流式缓冲区，开头先 HOLD 前 350 个字符；随后每 400 个字符重新校验一次，若检测到流进入「CORRUPT」状态，立刻中止并由宿主应用触发重试。其官方论文《SIMURG: Zero-Leak Online Detection of LLM Decoding Corruption in Production Streams》（F. Aghayev、E. Ahmadbayli，2026）给出了完整评测和零点泄漏协议规约。

关键运行参数如下：

• 吞吐量：约 197,632 字符/秒（单核 CPU，纯 numpy）
• 检测延迟：崩溃发生后约 590 字符内即可触发告警
• 误报预算：可配置，经 conformal 校准
• 依赖：仅 numpy，无需模型、无需 GPU
• 接入成本：3 行代码，零训练

作为参照，典型 LLM 以 50 token/秒输出约 250 字符/秒，SIMURG 的扫描速度比生成速度快三个数量级，永远不会成为瓶颈。

五个增量式检测器

SIMURG 对 token 流做一次 O(1) per character 的扫描，维护一组增量特征（数字占比、外文字符占比、重复率、可压缩性、type-token ratio、字符切换率、结构化伪迹密度等），并在其上叠加五个可插拔检测器：

• char n-gram surprise：在流内 3-gram 模型下衡量预测惊喜度，循环和乱码会让惊喜度趋近 0
• Count-Min repetition sketch：常量内存（8k 计数器）下的 n-gram 重复率，覆盖最常见的「重复坍缩」
• rolling SimHash drift：用 48-token 指纹相对于干净前缀基线的距离，捕捉主题坍缩和复述
• robust-z 自校准：每个特征相对自身冻结的干净前缀做 z-score 标准化，免去手工调参
• 规则层：可解释阈值（数字占比、字符切换、模板标记等），开箱即用

五条信号汇入 conformal fusion 模块，输出 CLEAN / SUSPECT / CORRUPT 三态标签，并配合 Page-Hinkley 算法定位崩溃起点。整套系统分为两层协作：规则层（零训练、每条告警可读出自然语言理由）与学习层（一个仅 15 个权重的在线逻辑回归模型），兼顾第一天可用的可解释性与后续适配。

与同类方案的对比

相比事后再用 linter、LLM-as-judge 或 perplexity 阈值排查，SIMURG 的关键差异在触发时机：

• 触发时机：SIMURG 在生成进行中即可告警（崩溃后约 590 字符），其他方案必须等整段回答结束
• 用户感知：开头落在 HOLD 窗口内的崩溃「零泄漏」；否则保留干净前缀，最坏情况下用户只看到约 900 字符的坏尾并被重试替换
• 模型无关性：任意 OpenAI 兼容端点或自托管流都可接入，不依赖 logprobs
• 告警理由：每条告警都附人类可读的原因，而不是单一数字或法官模型的主观判断

局限与定位

作者在「What SIMURG is NOT」一节中明确：流畅但事实错误的内容没有统计伤痕，不在 SIMURG 的覆盖范围内——它解决的是解码崩溃，而不是事实性幻觉。此外，SIMURG 对延迟极度敏感的小模型流场景最有用；面向通用 chat 产品的兜底仍是后置评估与对齐训练。

上手方式

项目提供 Install、Quick start、Live guard dashboard 三段最小路径，3 行代码即可在任意 OpenAI 兼容端点后挂接守护层；用户也可以将自己的领域语料与失败样本喂给系统，让规则层和自校准基线进一步贴合业务。