TokenHub:面向企业的开源私有 AI 网关发布
一款基于 Apache 2.0 的企业级 AI 网关,支持 OpenAI、Azure、Anthropic、Gemini、…
TokenHub 是一款新近发布的企业级 AI 网关项目,采用 Apache 2.0 开源协议,主打「私有化部署 + 多模型统一接入」。它并不提供自有模型,而是把多家上游模型与本地推理后端封装在同一个控制台内,让企业以单点方式调用、管理和审计 AI 用量。
围绕三种角色组织工作区
TokenHub 将日常使用、团队治理与平台管理拆分为三个独立角色,对应三套工作区视图:
- 用户:查找可用模型、生成项目级 API Key、调用模型 API、查看个人用量。
- 团队负责人:管理项目空间、成员、Key,查看团队报表,进行项目成本归属。
- 管理员:配置上游 Provider、模型目录、路由策略、身份源、RBAC、审计与成本控制。
控制台支持英文、简体中文、日文切换,并提供紧凑的角色感知导航、全局搜索与明暗主题。
多 Provider 与路由能力
平台在协议与上游层面做了较为完整的兼容:
- 模型 API 兼容 OpenAI 规范,覆盖 /v1/chat/completions、/v1/responses、/v1/embeddings 三个端点。
- 上游通道支持 OpenAI 兼容端、Azure OpenAI、Anthropic、Gemini、DeepSeek、Qwen、本地 vLLM/Ollama,以及自定义上游。
- 模型目录与路由策略可设置优先级、权重、故障转移顺序,并提供路由健康诊断。
- Key 管理按项目划分,支持团队归属、成员权限、配额与并发控制。
- 用量分析按用户、项目、团队、模型、成本中心多维归因。
- 身份层支持 OAuth/OIDC 企业登录,配套 RBAC 与审计日志。
部署与开发方式
部署以 SQLite 优先,并提供 Docker Compose 支持。快速启动流程为:复制 deploy/.env.example 为 deploy/.env,将所有 change-me 占位值替换为强随机密钥,然后通过 docker compose 拉起。启动后管理控制台默认在 http://localhost:3000,后端 API 在 http://localhost:8080,健康检查端点为 /healthz。初始管理员用户名固定为 admin,密码读取自环境变量 TOKENHUB_BOOTSTRAP_ADMIN_PASSWORD;若仍保留占位凭据,生产模式启动会失败。
本地开发需分别启动 Go 后端与前端项目:后端进入 backend 目录执行 go run ./cmd/tokenhub,前端进入 frontend 目录安装依赖后运行 npm run dev。仓库附带 SDK 示例,可通过 npm run test:deepseek 对 DeepSeek 通道进行冒烟测试。
项目状态与定位
从功能描述看,TokenHub 定位接近 LiteLLM、Bifrost 等同类网关,差异点在于按角色拆分的工作区体验、SQLite 优先的轻量部署,以及三语界面。对于希望把多家模型 API 与本地推理统一收敛、并按项目做配额与成本归因的中小团队而言,是一个可直接上手的自托管选择;但它并未引入新的模型能力或技术范式,对整个 AI 行业格局影响有限。
