语义投递网络：为 LLM 智能体重构 Web 检索

一篇发表于 arXiv 的论文提出「语义投递网络」（Semantics Delivery Network，简称 SemDN），主张将面向人类的 URL 级 Web 基础设施重构为面向 LLM 智能体的 chunk 级投递抽象，以解决当前 RAG 与智能体检索中的重复抓取、缓存命中率低以及上下文利用率差等问题。

核心问题

论文作者指出，当今 Web 的检索与分发基础设施仍然是为人类浏览器设计的：搜索引擎返回按通用相关性排序的 URL 与摘要，CDN 则按 URL 缓存文本、图片、视频等对象。但 LLM 智能体的消费模式与之不同——它们需要的是短而语义连贯的 chunk，并且以「对下游任务是否有用」而非「相似度」为选择依据；此外，多轮推理中智能体会带状态地跨回合检索。

在这种错位下，论文观察到三类系统性问题：

• 搜索引擎按相关性排序 URL，但智能体真正消费的内容只占其中极小比例；
• 多个未协调的智能体重复抓取、重复解析、重复做语义处理，浪费算力与带宽；
• CDN 缓存粒度为 URL，缺乏 miss 信号，难以判断 chunk 缓存是否过期或不完整。

设计理念与架构

SemDN 的核心思路是把「chunk 检索」提升为一等网络投递抽象。具体设计要点包括：

• 由源站授权的层级化边缘底座：网站自愿登记入网，由 SemDN 在边缘节点统一索引、检索、智能缓存 chunk；
• 跨智能体共享数据获取与语义处理：同一 chunk 的解析、嵌入、清洗结果可被多次复用；
• 租户策略：参与方可定义租户级的检索策略，控制自家内容对不同智能体的可见性与排序；
• 由于语义检索没有显式 miss 信号，SemDN 需主动估计语料是否不全或过期，并触发 scoped 发现与刷新。

初步发现

论文给出的初步探针（preliminary probes）数据显示：

• 页面级被抓取内容与智能体实际消费的 chunk 之间存在巨大缺口；
• chunk 在同一任务内可被显著复用，缓存收益可观；
• 以 chunk 为单位交付可在相同上下文 token 预算下带来更高的答案质量。

开放问题与状态

作者坦率承认，SemDN 提出了一系列尚未解决的开放问题，包括可共享的检索状态如何治理、层级缓存如何放置、覆盖度风险如何度量与补偿、以及面向多方的部署与计费机制等。论文定位为立场与方向性讨论，而非完整系统实现。

全文 12 页、含 3 张图，归类为网络与互联网架构（cs.NI）、信息检索（cs.IR）与机器学习（cs.LG）。目前可在 arXiv 检索编号 2609.22486 查看。需注意，arXiv 元数据显示的提交日期为 2026 年 9 月，时间戳疑似异常，建议读者以其内容与后续引用情况为准。