实时视频生成开打：生数科技谈 Vidu S2 与行业窗口期

过去两年，AI 视频的常见用法是「输入一段提示词，等待数十秒，再拿到一条完整成品」——更像一种一次性生产工具。而今年开始，另一种视频形态正在出现：数字人可在对话中被打断、换装、换背景；一段正在播放的视频可以被实时换人、换风格。视频不再只是一次性产物，而开始作为一种持续发生的现场视觉反馈。这条新赛道上，字节 Seed 团队发布的 SeedRealtime 与生数科技近期推出的 Vidu S2，分别从不同方向切入。围绕「实时视频」的技术门槛、产品形态与商业格局，生数科技流式视频生成和推理负责人张金涛与 36 氪进行了一次深度对谈。

从离线到实时：一条新的市场曲线

传统视频生成对应的是短剧、广告、影视等内容生产场景。张金涛认为其市场规模存在天花板：即使全球 60 亿人每天观看一小时视频，由于内容会被多人重复播放，需要「生成」的总量会被平均播放量显著摊薄。

实时交互视频打开的是另一条增长路径。在他看来，它对应的是「每个人独立的实时交互娱乐需求」——类似语言模型中每人拥有一个 session，直播、游戏、社交、陪伴等需要持续视觉反馈的场景，都可能成为实时视频的落地方向。

相比元宇宙数字人，本轮方案的成本结构发生明显变化：传统 CG + 动作捕捉需预制形象与动作模板，前期投入高且不可实时变化；当前基于视频模型的方案只需上传一两张图片、等待数秒即可开始实时交互，生成内容完全由用户输入决定，没有预设模板。

技术门槛：实时性优先于画质

张金涛把「速度跟上播放帧率」视为实时视频的硬门槛——必须达到 24fps、30fps 的持续出帧能力，否则画质再好也无法构成真正的实时体验。

但仅提升生成速度并不等于实现实时。TurboDiffusion 等加速技术可以显著缩短整段视频的生成时间，但若沿用「先给定 prompt、再生成整段」的范式，用户在中途改变指令时画面仍难以及时响应。真正的实时性关心的是：从用户输入新指令到画面真正响应，需要多久——例如视频进行中用户突然说「向左转」，系统需要在 0.1 秒内接续动作并保持前后连贯。这涉及算法设计目标与整条工程链路的重构，而不只是推理加速可以解决的问题。

Vidu S2 的两个方向

2026 年 4 月，生数发布 Vidu S1，首次让消费级 GPU 即可运行实时数字人交互；两个月后的 Vidu S2 把实时能力进一步扩展到视频编辑，主要方向有两个：

• S2 Avatar：除了说话、表情与基本肢体动作外，可实时响应跳舞等复杂指令，并支持在互动过程中动态加入新参考图片（如让角色拿起一件物品），不再只是预设好的数字人。
• S2 Editing：输入可是一段正在发生的视频流，模型边接收、边修改、再持续输出——播放过程中可随时切换风格、角色、服装或背景，同时保留原有人物动作与视频内容。

张金涛认为，游戏中 NPC 是该技术的自然延伸方向——传统 NPC 行为多为预设脚本，若模型能实时理解玩家行为并生成视觉反馈，NPC 自由度将大幅提升。但核心约束仍是成本：每一次反应都消耗大量 GPU 资源时，商业可行性将面临挑战。

数据、Agent 与算力：实时视频的三道关

实时视频并不缺少原始数据。中国每天产生的大量短视频、直播内容本身就是丰富素材。真正的难点在于把原始数据转化为适合训练的高质量数据：画面质量高、标注足够细致，明确标注画面中的物体与事件，是 Diffusion Model 类渲染器训练的关键。

随着用户 prompt 越来越简短、模糊，模型需要从「按指令生成」转向「理解上下文后主动决定生成什么」。VLM Agent 在这一过程中将扮演更重要的角色，把自然语言、视觉信息与上下文统一起来。代价是系统更模块化、实时控制更难——安全、内容过滤、身份与年龄判断等都需要嵌入系统内部。

生数目前的实时视频方案已可在单台消费级 GPU 上运行；张金涛认为，现阶段消费级硬件对模型限制不大。长期来看，推理 Infra、算子优化与软硬件协同将决定模型能否真正普及，定制化芯片是「正确的路线」。

模型公司 vs 平台公司：窗口期不到半年

当实时视频赛道变大，最有价值的未必是模型本身，而可能是掌握用户入口的平台公司。张金涛坦承这是「明显的威胁」。生数的应对思路有两条：一是专注做模型、走 API 路线（参照 DeepSeek、Kimi 等无自有流量入口、但模型能力领先的玩家）；二是尝试建立部分自有流量入口。

关于窗口期，他的判断较为直接：如果 Vidu S2 之后停滞不前，半年内大厂便可能追平。模型能力与产品迭代速度，仍是模型公司在这一轮竞争中守住位置的核心。