开源
Zagreus-0.4B-por 开源:4 亿参数葡英双语小模型发布
mii-llm 实验室开源 400M 参数葡英双语模型,主打轻量与葡语 NLP 应用。
2026.07.24 · 周五约 2 分钟阅读
mii-llm 实验室近日开源发布了 Zagreus-0.4B-por,这是一个约 4 亿参数的双语(葡萄牙语–英语)小型语言模型,从头预训练而成。该模型属于 Zagreus 系列,是 mii-llm 持续推进的欧洲语言小模型实验的一部分。训练算力由云服务商 Seeweb 与 Regolo.ai 赞助提供。
训练数据
预训练语料全部来自 Hugging Face 上已开源的数据集,包括:
- FineWeb
- Portuguese FineWeb2
- Portuguese FinePDFs
- StarCoderData
评测表现
在 ARC、HellaSwag 和 MMLU 的葡萄牙语版本上,最终 checkpoint 的平均得分为 0.3113。在 Eduardo Garcia 的葡萄牙语评测框架下,483k checkpoint 取得 0.3230,优于同尺寸的 Qwen3-0.6B-Base(0.2569)。开发者表示,这一成绩对 4 亿参数规模的模型而言令人鼓舞,但发布的核心目的并非追求 benchmark 名次。
定位与用途
Zagreus-0.4B-por 被定位为一个开放的基础底座模型,面向以下应用场景:
- 指令微调
- 特定领域助手
- 教育工具
- 研究实验
- 轻量级端侧 / 设备本地部署
官方明确表示,它不是一个「成品助手」或可直接投产的产品,而是一个可供社区查看、微调、修改并进一步构建的开放基座。mii-llm 邀请葡语 NLP 与开源社区提供反馈、独立评测与实验。
