无需求解长度：UniBoost 让 LLM 推理 P99 延迟再降 35–50%
Cornell、微软 Azure 与 NVIDIA 联合提出 LLM 推理调度方案 UniBoost，无需预测输出长度，…
LLM 推理服务的体验取决于尾延迟，而当前主流调度器却围绕平均延迟设计，依赖对输出长度的预测。Cornell、Microsoft Azure Systems Research 与 NVIDIA 的研究者在 ICML 2026 上发表的论文《Beyond Prediction: Tail-Aware Scheduling for LLM Inference》中提出了 UniBoost：通过单一可调参数 γ 在 FCFS 与 SJF 之间平滑插值，配合 KV cache 感知的抢占机制，无需预测输出长度即可同时压低 P50 与 P99。
为什么平均延迟是错的目标
LLM 推理存在极端的输出长度方差。同样的提示词在同一模型上跑 20 次，输出长度仍可能因为采样随机性与数值不确定性而波动 2 倍以上，相关系数最高可达 0.47。对推理型任务而言，这一分布还呈现明显的重尾特征：单个长思考请求的长度可达中位数的 10–100 倍，BigCodeBench 与 S1K 等数据集都表现出这种「一个请求吃掉所有排队时间」的极端行为。
这使得基于长度预测的 SRPT 等策略出现优先级反转——先到达的长请求仍在服务时，后续到达的短请求因优先级低而挨饿，TTFT 与 P99 TTLT 同时被推高。相反地，FCFS 公平但慢，没有任何调度策略能在所有负载形态下全面胜出，预测驱动的混合策略（如 TRAIL、LTR）在分布漂移时也会失效。
UniBoost 的四阶段设计
UniBoost 借鉴了尾最优调度理论，用「软性、连续的优先级增强」替代硬性的长度排序。每个请求按「到达时间减去增强项」作为调度得分排队，分数越低越优先。其中增强项 bγ(w) 是一条基于已完成 token 数 w 的连续曲线，由参数 γ 唯一控制：γ 趋近 0 时退化为 SJF 的「短作业优先」行为，γ 趋近无穷时退化为 FCFS 的「先到先服务」。中段某个 γ 取值可以同时压低 P50 与 P99，优于任何一种极端策略。
为适配 LLM 推理的有状态特性，论文针对三方面挑战给出对应设计：
- 内存耦合：KV cache 使抢占代价高昂，UniBoost 引入 KV-cache 感知的抢占策略，在不丢失已生成进度的前提下插入新请求。
- 负载分布变化：γ 是连续可调的单一旋钮，可随工作负载变化实时滑动，无需重新训练或重新预测。
- Prefill 与 Decode 的差异：将有效工作量定义为 max(已完成 token, prefill 长度)，让两个阶段都能复用统一的优先级函数。
与既有工作的横向对比
| 策略 | 重尾负载 | 轻尾负载 | 无需长度预测 | 抢占开销可控 | 面向尾延迟设计 | TTFT 评估 |
|---|---|---|---|---|---|---|
| vLLM 默认 FCFS | ✗ | ✓ | ✓ | ✓ | ✗ | △ |
| Shortest Prefix First (vLLM) | △ | △ | ✗ | ✗ | ✗ | ✗ |
| LTR（基于排名的 SJF） | ✓ | △ | ✗ | △ | ✗ | ✗ |
| TRAIL（预测驱动 SRPT） | ✓ | △ | ✗ | △ | ✓ | ✗ |
| Skip-Join MLFQ / LAS | △ | △ | ✓ | △ | ✓ | △ |
| UniBoost（本文） | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
UniBoost 是表中唯一同时支持重尾与轻尾负载、无需长度预测、显式面向尾延迟设计并完整评估 TTFT 的方案。
实验结果
论文汇报了三类关键数字，全部在论文与配套 slides 中给出：
- 相比「手握完美长度预言的 SRPT」，UniBoost 将 P99 TTLT 降低 35–50%；
- 在推理密集型与对话密集型负载上，P95 TTFT 降低 34–97%；
- 在 99% SLO 达成率下，可承受负载上限提升 2.9–8.7 倍。
作为完全无长度预测版本的对照，UniBoost 同时达成了 SRPT 无法兼得的尾延迟收益与 FCFS 难以匹敌的峰值吞吐，对长尾请求的优先级反转问题是一种直接的结构性回应。
工程意义与待解问题
对超大规模 LLM 服务（Azure、AWS Bedrock、各家国产推理平台）而言，P99 TTLT 直接决定了限流策略与 SLA 定价。UniBoost 提出的「单一 γ 控制整个调度前沿」在实际生产中具有落地价值：运维可以依据负载形态滑动 γ，无需重训或上线新模型。但这同时意味着工程团队需要实时观测「负载分布 + 到达突发度」两个指标，才能动态选择 γ 的甜蜜点，这也是论文留下的主要开放问题。论文及配套代码已在作者主页公开，感兴趣的工程师可直接复现与魔改。