开源项目 Portail：基于 Rust 的 BitNet b1.58 SIMD 推理网关

Portail 是一个近期在 Hacker News 上亮相的 Rust 开源项目，定位为「主权级」（sovereign）AI 推理网关，核心卖点是把微软提出的 BitNet b1.58 三值（1.58-bit）LLM 量化方案与 SIMD 加速、WASM 算子以及一种名为「Headroom Compression」的压缩手段打包在一起，试图在自托管部署场景下同时拿到低显存占用与高吞吐。

项目构成

从项目自述来看，Portail 的技术栈主要由四块组成：

BitNet b1.58 Ternary SIMD 矩阵内核：用三值权重配合 SIMD 指令做矩阵乘法，官方宣称相对 FP16 可获得约 8.0× 的权重压缩。
Headroom Compression：项目自创的压缩策略，用于进一步压缩激活或 KV 缓存，细节在公开页面中并未给出论文或公式。
WASM 算子：将部分算子以 WebAssembly 形式下发，便于跨平台、跨语言调用。
推理网关：对外提供统一 API，前端可挂接不同 LLM 后端。

自报性能数据

页面给出的「Ultrawhale Dogfood Benchmark」属于项目自跑基准（dogfood），并非第三方复现结果，关键数字如下：

持续吞吐：约 16,964 tok/s（即「16.9k tok/s」）。
Q&A 相似度准确率：98.4%。
总延迟：37.73 ms。
8 个节点的 30 秒滑动窗口平均延迟：约 15 ms。

项目还展示了逐层权重稀疏度与奇异值（SVD）能量衰减等可视化图表，用于说明三值化后的权重结构。

工作区与生态

页面附带一个交互式 D3.js 知识图谱，声称已索引 137 个自包含仓库（self-contained repositories），构成所谓「Interactive Workspace」的一部分，方便开发者把推理网关与周边工具链拼装使用。

需要注意的局限

需要指出的是，本次公开内容本质上是项目的工程展示页，所有性能数字均为官方自报，缺少独立复现、硬件配置、批次大小、模型规模等基准细节，也未与 llama.cpp、vLLM、SGLang 等同类推理框架做并列对比。因此上述吞吐与延迟数字更适合作为「项目自我定位」而非行业基准来参考。整体来看，Portail 是社区在极低比特量化推理方向的一次有意思的工程尝试，但目前仍处于早期展示阶段，距离生产可用与广泛影响尚有明显距离。