Eikos 开源决策模型家族发布：面向金融规则一次前向推理

开发者 caiovicentino1 在 GitHub 与 Hugging Face 上以 MIT 协议开源了 Eikos 模型家族，定位是「面向全球金融、交易与贸易金融场景的开放类型化决策模型」。家族包含 Eikos-4B 与 Eikos-27B 两个尺寸，每款提供 bf16、FP8、INT4 三种 GPU 构建以及适配 Apple Silicon 的 MLX 构建。模型一次前向推理即可对给定状态回答结构化问题，并对每个候选项返回经过校准的概率，方便调用方在置信度高时直接行动，其余情况升级给人工处理。

模型能力与设计要点

Eikos 的核心设计围绕「将规则、政策与规则手册应用到案例」展开。推理库 decision_core 支持字母标签 A–Z、AA、AB…，单次最多处理 588 个选项，超出后通过 tournament 机制扩展；letter_adapter 在 PyTorch、SGLang 与 vLLM 后端上读出字母 logits，并启用 prefix cache；serve.py 提供 HTTP API 与 agent 会话接口。所有问题在同一次共享状态的前向中作答，prefix cache 仅处理一次。

服务端支持 agent 会话模式：通过 POST /v1/sessions 建立增量状态，再以 /append 与 /systemone 持续追问，适合交易台逐步补全信息再做判断的工作流。

自建基准表现

开发者公布了基于自建评测套件的对比结果（同一批题目，覆盖 Jev 与 Laya 两款已有系统）：

• JevBench 公开、困难档：Eikos-27B 取得 82.9，Eikos-4B 为 72.1，Jev 73.0，Laya 35.1。
• 置信度 ≥90% 时的错误率（7,140 题、6 个套件）：Eikos-27B 为 2.4%，Eikos-4B 为 5.9%，Jev 高达 37.3%。
• 把决策信息藏进 64k token 长文档中的检索准确率（3 个位置平均）：Eikos-27B 为 88.3，Eikos-4B 为 74.2；Jev 因 API 仅支持 32k 上下文、Laya 仅支持 512–1k 上下文，均无法完成此项测试。

部署与复现要求

生产部署通过 scripts/serve_vllm.sh 启动 vLLM 引擎，再由 serve.py 对外提供 HTTP 接口。脚本要求 vLLM ≥ 0.30.0，原因是该模型基于 Gated DeltaNet 混合架构，在 0.11 版本上批量长请求会出现 3–6 分的掉点；0.30 之后批处理结果可与 PyTorch 参考实现对齐。此外默认设置 --max-num-seqs 64，因为 27B 构建在单卡 80–96 GB GPU 上无法承受 vLLM 默认的 1024 并发。Mac 平台可通过 mlx_decide.py 或 examples/local_demo.py 直接运行。

仓库同时放出训练数据 caiovicentino1/eikos-decisions，每行附带来源标注，并提供 lossless 的反向转换工具 release_to_train.py；release 省略了原始训练数据的 2%，因此复现结果接近但不会与官方权重逐比特一致。量化目录使用 llm-compressor 完成 FP8 与 INT4（GPTQ），并以 bf16 在同题集上做门控对比。