开发者推出开源模型 Torrent 分发站,以 Hugging Face 为 Web Seed 兜底
开发者 Marella 创建 modelregistry.io,为热门开源模型生成 .torrent 文件,并接入 Hu…
- 重要性
- 25
- 新颖性
- 42
- 影响面
- 22
- 可信度
- 48
- 实质性
- 28
开发者 Ravindra Marella 在 GitHub 与 Reddit 上发布了一个名为 modelregistry 的项目,旨在为热门开源 AI 模型生成 .torrent 分发文件,并通过 Hugging Face 作为 Web Seed 兜底源,解决 P2P 下载中无种子节点时的可用性问题。项目代码托管在 GitHub(marella/modelregistry),配套站点为 modelregistry.io。
项目机制:Torrent + Web Seed 双通道
传统 BitTorrent 下载依赖种子节点在线,当没有可用 peers 时下载会停滞。该项目的核心思路是为每个模型文件生成 .torrent 元数据,同时把 Hugging Face 上对应文件的 URL 注册为 Web Seed。当客户端找不到 peers 时,可直接通过 HTTP 从 Hugging Face CDN 拉取数据;找到 peers 后则走 P2P 通道,从而兼顾去中心化与高可用。
由于 Hugging Face 上的大模型权重实际存储在 LFS(Git Large File Storage)中,普通 HTTP 路径并不能直接定位到原始二进制文件。为此,作者写了一个小型后端服务,根据文件是否位于 LFS,把 BitTorrent 客户端的 Web Seed 请求重定向到正确的 HF 端点。
当前状态与限制
作者明确表示该项目仍处于实验阶段,主要已知问题是:
- HF CDN 偶发返回错误,需要客户端自动重试才能成功下载;
- .torrent 文件的生成与发布尚未完全自动化,计划后续用 GitHub Actions 实现端到端流程;
- GitHub 免费 Runner 仅提供约 100 GB 磁盘空间,对于超过 100 GB 的大模型权重来说不够用,需要寻找替代方案。
适用场景与社区反馈征集
该项目面向需要在带宽受限或网络不稳定环境下获取开源模型的个人开发者与研究者,特别是对动辄数十 GB 的 LLM 权重有分发需求的团队。作者在 Reddit r/LocalLLaMA 板块公开征集改进建议,包括 Web Seed 重定向逻辑的健壮性、巨型模型的分发策略等。整体来看,这是一个由社区驱动的轻量级分发基础设施尝试,尚不具备生产级稳定性,但为开源模型的分发方式提供了一种新思路。
