Ilya 首个模型曝光?SSI 据传正研发测试时训练推理引擎
X 网友爆料 SSI 正在探索基于 TTT 的小型推理引擎,模型规模将扩展 10 倍,最快 8 月露面,尚未获官方证实。
离开 OpenAI 两年多后,Ilya Sutskever 创办的 Safe Superintelligence(SSI)终于有了疑似第一把「剑」出鞘的迹象。X 用户「三只草莓」日前爆料称,SSI 正在探索一种基于 TTT(Test-Time Training,测试时训练)的小型推理引擎,并在评论中表示团队正把下一代版本规模直接扩展 10 倍,当前版本最快可能于今年 8 月露面,早期向少数用户开放。截至目前,SSI 未对这一消息作出官方回应。
爆料中的关键技术:TTT
据「三只草莓」描述,SSI 的模型会用专门整理的数据学习「如何学习」,再在解决问题的过程中更新部分权重,即便规模不大,也足以与经过更大规模训练的模型抗衡。
TTT 与当前主流的扩展上下文路线有本质区别:
- 传统长上下文模型把前文保存在上下文窗口中,生成新内容时再回头查找;
- TTT 则把整段上下文当作训练数据,让模型在读取过程中继续预测下一个 Token,并把信息压进自身权重;
- Agent Harness、Context Engineering 等热门范式依赖外部上下文搭建脚手架,模型本身不变;TTT 则让模型在推理过程中直接改变自身参数。
爆料者特意提到了一篇相关论文《End-to-End Test-Time Training for Long Context》,该论文正是把长上下文问题重新理解为持续学习问题。
三条已经公开的线索
虽然爆料本身来自匿名账号,但 SSI 近期的几件事让这条传闻显得不那么突兀:
- Ilya 的一贯表态:在 2024 年 11 月与 Dwarkesh Patel 的播客中,Ilya 明确表示「AGI」和「预训练」两个词把行业带偏了,真正的超级智能应像一位 15 岁的求知少年,在部署之后持续学习编程、医学等技能。他当时并未提及 TTT,但核心方向与 TTT 高度一致。
- 英伟达加码:今年 7 月 27 日,英伟达宣布与 SSI 达成长期战略合作并投资 SSI,向其提供下一代 Vera Rubin 系统,将算力提升约一个数量级。据路透社爆料,投资金额高达 50 亿美元。英伟达在公告中特别提到,SSI 过去两年一直在推进一条新的研究路线,「罕见地接触到这项严密保密的研究后决定加码」。
- 学术侧的呼应:越来越多研究者开始越过「不断扩展上下文」的路线,转向更接近持续学习的范式,TTT 正是其中代表。
TTT 距离落地还差什么
TTT 之所以长期停留在论文层面,核心障碍是安全性。一旦模型在部署后能修改自身权重,就可能学错、学偏,甚至遗忘原有能力。早在 2016 年,微软聊天机器人 Tay 上线不到 24 小时就在网友诱导下输出攻击性内容,被紧急下线,这一案例虽与 TTT 技术不同,却暴露了同类难题。
爆料者「三只草莓」对此的回应是:Ilya 已经解决。但这一说法并未给出任何证据。SSI(Safe Superintelligence)名字中的「Safe」也因此被反复讨论:让模型学会学习只解决了一半问题,更难的一半是让它知道什么不能学。
为什么整个圈子都在等
Ilya 是 OpenAI 联合创始人、前首席科学家,从 AlexNet、Sequence-to-Sequence、AlphaGo 到 GPT 系列,再到最终通向 OpenAI o1 等推理模型的研究,都能找到他的身影。业内认为他最令人忌惮的地方,不在于发模型的速度,而在于多次在技术路线成为共识之前就已站到那条路上。
2024 年 5 月离开 OpenAI 后,Ilya 下一步要做什么一直是 AI 圈最大的悬念之一。除「安全超级智能」这一目标外,SSI 两年来不发模型、不做产品、不公开论文。直到今年 7 月英伟达加码,外界才重新获得一些观察窗口。若 Ilya 此前关于「部署后持续学习」的判断与此次 TTT 爆料最终对得上,SSI 闭关两年磨出的,可能真不是又一个更大的 GPT,而是一把会在出手时自己变招的剑。
