FlexInference 新增 Bedrock 与 Vertex 支持，提供免费多供应商路由

开发者社区出现的 FlexInference 是一款面向多家云端大模型服务的统一路由（Router）工具，近日新增对 AWS Bedrock 与 Google Vertex AI 的支持，并加入了供应商回退与上游重试机制，目标是为开发者提供「免费」的多供应商接入能力。

工具定位

FlexInference 定位于 LLM 路由层，作用是在不同模型供应商之间灵活调度请求。本次更新完成后，工具已可对接以下五家主流平台：

• OpenAI
• Anthropic
• Google
• Google Vertex AI（本次新增）
• AWS Bedrock（本次新增）

用户可通过其 SDK 配置路由策略，将请求按需转发至上述任一供应商，无需自行维护多套调用逻辑。

本次更新要点

本次版本带来两项实用能力：

• 供应商自动回退：当某一供应商接口返回 HTTP 429（请求限流）或 5xx（服务端错误）时，FlexInference 可自动切换至其他可用供应商继续处理请求，提升整体成功率。
• 上游重试机制：开发者可通过 SDK 设置重试策略，对失败请求进行有控制的重新发送，减少瞬时故障带来的影响。

作者表示，路由功能本身对使用者免费开放，意在降低多供应商接入的工程门槛。

后续路线

作者在原帖中透露，下一步计划加入对 Microsoft Foundry 的支持，以进一步扩展可路由的供应商范围。

社区反响

该项目以「Show HN」形式发布于 Hacker News 的 AI 频道，目前帖子积分为 1、评论数为 0，讨论热度非常有限，尚处于早期社区验证阶段。