Lemonade 项目夏季更新：已支持 15 款本地推理引擎

开源本地 AI 推理框架 Lemonade 近日发布「夏末项目更新」，宣布其单一可安装服务现已在后端调度 15 款推理引擎，并面向嵌入式 SDK 场景开放同等能力。该项目由社区驱动，目标是为本地 AI 构建者提供一套「开箱即用、可移植、模块化」的完整工具栈。

跨平台支持全面扩展

本次更新重点强化了跨平台能力。Lemonade 已为核心引擎提供 CUDA、ARM64、Metal 与 Vulkan 四类后端，覆盖 Windows、Linux、macOS 以及各类 ARM 设备。开发者只需一次安装，即可将服务部署到不同硬件平台上，并通过统一的基地址（base URL）调用多种模型与引擎。

引擎数量与模态持续扩展

项目方表示，夏季新增了多款实验性引擎，主要围绕两类方向：

• 新增模态：覆盖音乐生成、3D 资产等非文本生成任务。
• 新增优化：包括 DwarfStar4、TheNoise 等针对推理速度与资源占用的实验性后端。

加上原有引擎，Lemonade 现已在调度层接入 15 款引擎，可根据模型类型与硬件条件灵活分配算力。

路由器引入语义与策略路由

调度层（router）是 Lemonade 的核心组件之一。本次更新为其引入了两项关键能力：

• 语义路由：根据输入提示的语义内容，自动选择最合适的 LLM。
• 策略路由：基于预设策略在运行期动态切换模型，无需重启服务。

这意味着开发者可以在同一个服务入口下，让不同类型的请求自动分发到不同模型，例如将代码任务路由至代码专用模型，将对话任务路由至通用模型。

后续路线图

项目方透露，下一阶段重点工作包括：

• 全新的图形化界面（GUI）即将进入 beta 测试。
• 基准测试工具，帮助用户衡量不同引擎与后端的实际表现。
• 插件接口（plugin interface），以便社区快速适配新发布的引擎与后端。

Lemonade 强调其路线图与功能集由社区共同定义，目前已有超过 100 名贡献者参与开发。项目源代码托管在 GitHub（lemonade-sdk/lemonade），并设有 Discord 频道供开发者交流。