bitsandbytes 作者 Tim Dettmers 预告新量化方法，可在单卡运行大模型

知名量化工具 bitsandbytes 的作者 Tim Dettmers 近期在社交平台上发布预告，暗示其正在开发一种新的量化方法。根据其在 X（原 Twitter）上发布的内容，该方法据称可以在单台 NVIDIA DGX Spark 上运行 GLM 系列模型，速度达到 7 token/s；另一条相关推文则提到在单卡 B300（配备 288 GB 显存）上运行 DeepSeek 类模型。这一消息在 r/LocalLLaMA 社区引发讨论。

社区反应与可信度

帖子作者本人在转述时明确提醒读者「别太激动，需要半信半疑」，原因是过去几年里出现过大量量化方案的宣传，最终很多都没有真正落地。不过鉴于 Tim Dettmers 在开源 AI 社区的知名度——他创立的 bitsandbytes 是目前最主流的 LLM 量化库之一，社区对其后续工作仍抱有期待。

已知信息与不确定项

目前可确认的事实非常有限：

• Tim Dettmers 在个人账号上发布了与新量化方法相关的多条推文。
• 推文截图或链接中提到了 GLM 模型在 DGX Spark 上 7t/s 的运行数据，以及 B300 单卡运行 DS4 Pro 的可能性。
• 没有公开的技术文档、论文、代码仓库或 benchmark 数据。

所有具体数字和性能声明均来自社交平台的预告片段，未经第三方独立验证。

后续关注点

对于关注 LLM 部署与量化的从业者而言，这一线索值得跟踪但不宜过度解读。后续值得关注的信号包括：是否会有官方论文或博客披露方法细节、bitsandbytes 仓库是否合并相关实现、是否有公开的显存占用与速度 benchmark 对比。在这些信息落地之前，该消息更多停留在社区传闻层面。