模型发布
Aurora-80K:仅 8 万参数的极小语言模型发布
Reddit 用户发布 Aurora-80K 模型,仅 8 万参数,附带 Wikitext-2、BLiMP、Arc-Ea…
2026.08.20 · 周四约 2 分钟阅读
近日,Reddit 社区 r/LocalLLaMA 上有用户发布了一款名为 Aurora-80K 的极小语言模型,整体参数量仅有 8 万。该项目由个人开发者发布,并非来自主流厂商或研究机构。
模型基本规格
Aurora-80K 是一款以极小参数为卖点的小型语言模型,关键参数信息如下:
- 参数量:80,000(8 万)
- 词表:采用分解式 4,096 token 词表
- 发布平台:Hugging Face(提供模型页)
值得注意的是,相较动辄数十亿乃至数千亿参数的主流大模型,8 万参数的规模几乎只是「玩具级」实验模型,更接近研究者探索架构与训练机制的概念验证。
基准测试结果
作者在帖子中给出了几项常见基准的测试数据,但未提供完整实验设置:
- Wikitext-2 BPB:3.2902
- BLiMP:52.31%
- Arc-Easy:26.05%
其中 Arc-Easy 准确率仅约 26%,与当前主流大模型相比有较大差距,但作为参数规模极小的项目,其表现符合预期。Wikitext-2 BPB 与 BLiMP 数据也仅供社区参考。
项目定位与社区反馈
发布者表示愿意在评论区回答关于模型的细节问题,体现出社区项目典型的开放交流氛围。该项目主要面向对极小模型架构、参数效率或教学演示感兴趣的爱好者,对实际生产力场景并不构成实质性影响。
整体而言,Aurora-80K 属于个人开发者主导的小规模探索性发布,可作为观察小型语言模型社区动向的一个参考,但并不代表行业级技术进展。
