IBM 发布 LinuxONE + Spyre 企业级 RAG 架构论文
IBM 在 arXiv 发表论文，提出在 LinuxONE 平台运行完整 RAG 流水线的六子系统架构，端到端延迟低于…
IBM 研究团队在 arXiv 发布论文，提出一种面向企业环境、完全运行于 LinuxONE 平台内部的检索增强生成（RAG）架构。该方案以 IBM 自研的 Spyre 加速器 PCIe 推理卡承担生成式推理任务，配合 Telum II 片上加速器处理轻量分类工作负载，并由 Red Hat OpenShift 负责容器编排，目标是把敏感数据始终保留在单一硬件边界内，规避跨系统传输带来的延迟、安全与合规风险。
架构概览：六子系统组成的端到端流水线
论文将整套流水线拆分为六个子系统，覆盖查询接入、向量检索、提示组装、大模型推理、合规过滤与响应交付的全部环节。
- 全部组件均部署在单一 LinuxONE 系统内部，敏感数据不离开硬件边界。
- Spyre 加速器负责生成式 LLM 推理。
- Telum II 处理器用于轻量分类与预处理。
- Red Hat OpenShift 提供容器编排能力。
安全机制：机密计算延伸至 AI 工作负载
论文重点介绍了 LinuxONE 的 Secure Execution 技术如何将机密计算保障扩展到 AI 推理流程中。该机制结合硬件级加密与审计能力，针对金融、医疗等受监管行业的数据驻留要求设计，使企业无需把数据外送到云端 GPU 集群即可运行大模型推理。
性能数据：端到端延迟与吞吐量
根据论文中的早期分析结果，该架构的端到端 RAG 延迟可控制在 2 秒以内，相较数据外送至外部平台的推理方案最高可实现约 20 倍的吞吐提升。作者同时将这一架构与云端 GPU 及传统本地部署方案进行了基准对比，但完整 benchmark 细节需以正式发表的论文正文为准。
意义与局限
该工作展示了在专用主机型硬件上承载完整 RAG 流水线的可行路径，对受合规约束的行业客户具有一定参考价值。不过，方案与 IBM LinuxONE、Spyre 及 Telum II 深度绑定，生态通用性有限；对主流大模型应用开发者而言，更直接的启示在于「数据不离开硬件边界」这一设计原则，而非具体实现细节。论文目前以 arXiv 预印本形式公开（编号 2608.21393v1），尚未经过同行评审，后续是否在正式会议或期刊发表值得关注。