SIMURG：实时拦截 LLM 解码异常的开源工具

HAL-X AI 在 Hacker News 发布开源项目 SIMURG（Streaming Integrity Monitor & Universal Regeneration Guard），专注于在 LLM 生成文本的过程中实时识别「解码崩坏」（decoding corruption），并在异常发生后几百字符内中止流式输出，让宿主系统自动重试，避免用户看到崩坏的内容。项目同时附带一份 13 页的技术报告，作者为 F. Aghayev 与 E. Ahmadbayli。

要解决的问题

在生产环境运行 LLM、尤其是量化、小参数或自托管模型时，常会遇到模型在生成中途「脱轨」的现象。SIMURG 将这类崩坏归纳为五种典型模式：

• 重复坍缩（repetition collapse）：同一短语或 token 不断循环，直到 token 预算耗尽。
• 跨语种漂移（cross-lingual drift）：英文回答中途悄然滑入中文、阿拉伯文或西里尔字母。
• 复读机化（regurgitation）：模型倾倒 README、模板或训练文本。
• 结构崩坏（structural breakdown）：出现「#REF! -0.00 -0.00 ... 0.00」之类的数字与符号乱码。
• 模板泄漏（template leakage）：破损的代码模板、JSON 残片等混入输出。

作者强调，这并非事实性幻觉（hallucination）——流畅但错误的句子在统计上并没有痕迹；而上述解码崩坏会在 token 流中留下可测量的统计特征：重复率、词项多样性、字符脚本分布、可压缩性、预测惊奇度等都会发生明显偏移。SIMURG 正是基于这些信号做实时判断。

核心机制：零泄漏协议

SIMURG 与事后检查（post-hoc linter）、LLM-as-judge、perplexity 阈值等已有方案的最大区别在于「零泄漏」（zero-leak）：它在生成过程中就把控输出，而非等用户读完再补救。具体做法是：

• 每条流的开头 350 个字符被放入缓冲区，验证为干净后才向用户释放。
• 此后每 400 字符重新校验一次，一旦越线立即中止。
• 配合 Page-Hinkley 算法定位崩坏起点，使最坏情况下用户看到的坏尾长度约 900 字符。

整个判定流程只对字符流做一次 O(1) 增量扫描，维护一组增量特征：数字占比、外文字符占比、重复率、可压缩性、type-token 比、脚本切换率、结构性 artefact 密度等，并喂给一个可插拔的检测器集合。

五个协同工作的检测器

• char n-gram surprise：基于流内 3-gram 模型的自校准预测惊奇度，循环与乱码会让惊奇度趋于零。
• Count-Min repetition：常数内存的草图（8k 计数器）捕捉 n-gram 重复率，针对最常见的生产故障。
• rolling SimHash drift：用 48 token 指纹相对于干净前缀基线的距离来检测主题坍缩与复读。
• robust-z 自校准：每个特征都针对自身「干净前缀」基线做 z-score，无需手工调参，可适配任意领域。
• 规则层（rules）：在数字占比、脚本切换、模板标记等可解释阈值上提供「开箱即用」的覆盖，每个告警都附带人类可读的说明（如「repetition loop rate=0.71」）。

上述规则层与一个 15 权重在线逻辑回归模型组成两层结构，最终通过 conformal fusion 在有限样本的误报预算下给出 CLEAN / SUSPECT / CORRUPT 三档判定。

性能与部署门槛

官方公布的性能数据：

• 在笔记本 CPU 上单核吞吐约 197,632 字符/秒；典型 LLM 流式输出约 250 字符/秒，因此检测器几乎不会成为瓶颈。
• 从崩坏发生到触发的检测延迟约 590 字符。
• 误报预算可通过 conformal 校准配置。
• 仅依赖 numpy，无模型、无需 GPU；接入只需 3 行代码、零训练。
• 兼容任意 OpenAI 兼容接口或任意可喂入的流。

它不是什么

作者明确指出，SIMURG 并非事实性幻觉检测器。流畅但内容错误的回答在统计上没有「疤痕」，因此不在其能力范围内。它针对的是会产生明显统计异常的那类崩坏，对于追求内容正确性的场景，仍需结合检索、事实核查等手段。项目同时附带名为 TinyFish 的「代理免费网页搜索」能力，以及 SIMURG Monolith 的打包版本。代码以开源许可证发布，可在仓库中获取论文、安装指南与在线仪表盘示例。