ATSInfer：面向消费级设备的张量级 LLM 混合推理调度

论文提出 ATSInfer 系统，以张量粒度调度消费级设备上的 CPU-GPU 混合 LLM 推理，prefill 吞吐…