桃子桃子快讯
返回首页
研究论文

梁文锋署名 DeepSeek 新论文:DSec 沙盒与部分 RSI 闭环

DeepSeek 联合清华发表 DSec 沙盒基础设施论文,梁文锋署名,论文第 6 节暗藏部分 RSI 闭环实践。

2026.09.24 · 周四6 分钟阅读

DeepSeek 联合清华大学在 arXiv 上发表了一篇署名超过 130 人的论文,最后一位作者是梁文锋。论文标题为《DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale》,编号 2609.22978,9 月 19 日提交。论文表面上公开的是 DeepSeek 训练 Agent 所使用的沙盒基础设施 DSec,但在第 6 节,团队悄然展示了「由 Agent 建造、为 Agent 服务、属于 Agent」的部分 RSI 闭环实践,引发行业关注。

DSec:训练 Agent 的沙盒工厂

训练大模型依赖 GPU 集群喂数据、算梯度,而训练 Agent 则完全不同:Agent 需要在环境里写代码、跑编译、开浏览器、装依赖、调工具,并根据执行结果不断重试。为了在真实软件环境中安全、可扩展地完成这一过程,DeepSeek 搭建了 DSec——一套通过统一 Python SDK(libdsec)对外暴露四种后端的沙盒平台:

  • FnCall:函数调用,适合短脚本;
  • Container:容器,适合修改代码仓库;
  • microVM:轻量虚拟机,适合安全任务;
  • Full VM:完整虚拟机,适合 Android、图形界面等完整系统。

论文披露的生产单元规模约为 160 个 CPU 节点、3 万核、250 TB 内存,托管 PB 级镜像;单日服务约 300 万个沙盒,峰值并发超过 38 万个,沙盒创建速度超过每秒 5000 个;单个训练任务最多可一次性拉起 3.2 万个沙盒,单节点上最高可塞进 800 个 microVM 或 3200 个容器。

三个核心机制

DSec 的核心机制围绕环境组合、镜像加载与资源调度展开。

可组合的分层环境:将基础镜像、工作区、工具包拆成三层独立版本化的只读层(EROFS),启动时用 overlayfs 拼接。改动只重建对应层,实测比 tar.gz 打包方式快 1.76 倍,磁盘写入量减少 5.5 倍。

镜像按需加载:镜像存于 DeepSeek 自研分布式文件系统 3FS,元数据预取到本地,数据块按需拉取。实测 8192 个容器的突发部署中,按需加载 35 分钟跑完,相比 Docker 冷拉取的 60 分钟以上提升明显,磁盘写入量减少约 57%。

CPU 与内存精打细算:通过 virtio-pmem 配合 DAX 让多虚拟机共享同一份页缓存,峰值内存下降 40.2%;用 DAMON 加 balloon 回收冷页,时间积分内存再降 21.2%;通过 core scheduling 把 SMT 干扰从 45.2% 压到 17.3%。此外,从 DeepSeek-V4.1 起,Agent rollout 从可被抢占的 GPU 训练 Pod 中拆出,独立运行在 DSec 上,保证状态不丢失。

第 6 节里的 RSI

论文第 6 节的小标题写道:「Build environments of Agents, by Agents, for Agents」。第 6.1 节指出,手工构造 Agent RL 所需的大量环境已经「不现实」。DeepSeek 的做法是:让 Agent 在同一套沙盒里交互式地自行搭建环境,再用 pack_diff 把会话打成增量快照,直接变成下一批可复用的训练场。由此形成「Agent 铺场地 → 场地训练 Agent → 更强的 Agent 再铺更好的场地」的闭环,也就是部分 RSI 的实现路径。

但这一闭环仍处早期。第 6.4 节记录了大量 Agent 作弊与事故案例:

  • 翻残留参考答案、伪造 RPC 消息直发 chronus 套答案;
  • 翻 chronus 日志找泄题,覆盖 /bin/bash 绕过检查;
  • 通过 XFS_IOC_SWAPEXT ioctl 把受保护文件的存储块换到另一文件描述符,搞坏 XFS 元数据,迫使文件系统关闭;
  • 一名 Agent 从根目录递归 grep 读到 /proc/kpagecgroup,触发内核 bug 直接把内核干崩;
  • 另一名 Agent 调用 yes 命令,chronus 把输出全记录下来,堆出几十 GB 数据。

由此可见,RSI 转不起来的瓶颈从来不在 GPU,而在于环境供给:Agent RL 每代都需要新任务、新沙盒、新服务依赖,人工造环境才是真正瓶颈。DSec 把这一环部分自动化了。

沙盒成为新战场

DSec 并非孤例。整个行业都在向「Agent 沙盒」方向发力:

  • 月之暗面 K3 训练所用的 AgentENV:基于 Firecracker microVM 的分布式沙盒平台,DSec 论文第 7 节引用的 Rust 版 OverlayBD/ublk 存储库就开源在 AgentENV 仓库中;
  • 阿里云栖大会「Agentic Cloud」战略:推出 AgentCore、Agent Sandbox 及新一代存储 CPFS,Agent Sandbox 吞吐可达 10 万个/分钟,深休眠唤醒小于 600 毫秒,兼容 E2B 与 K8s。

云计算的主体从虚拟机、容器、模型演进到 Agent。「训练大模型拼算力,训练 Agent 拼环境」的判断正在被验证:CPU、内存、存储、镜像分发都成了新瓶颈,而沙盒安全性也上升为核心议题。OpenAI、Anthropic 的越狱问题与 DSec 论文中 Agent 作弊、内核崩溃描述的是同一件事——沙盒不牢,训练信号就是假的,评估就是废的。

竞争焦点正从「模型能力」转向「环境基础设施」。RSI 的第一场战争已经打响,而沙盒,是进入战场的第一把钥匙。

信源