GPT-2 词表的双曲树可视化：在 Poincaré 球中飞行浏览 3.2 万 token

一名研究者近日发布了一个交互式可视化项目，将 GPT-2-small 的全部 32,070 个 token 嵌入映射到一个 Poincaré 球（双曲空间的一种经典模型）之中。用户可直接在手机或浏览器中拖拽旋转、捏合缩放，并通过 Möbius 平移操作在双曲空间内「飞行」，从一个 token 跳转到相邻 token。与之前常见的 2D 平面投影不同，这个新版本利用了双曲几何天然适配树状结构的特性，无需任何优化或训练即可得到精确布局。

为什么选择双曲空间

平面（欧氏）空间在表达层次化、树状关系时存在先天瓶颈：随着离中心距离增长，可用面积按多项式速度扩张，难以容纳大而深的树。双曲空间则不同，离中心越远，可用「体积」按指数级增长，非常适合嵌入词汇表这类天然呈层级或分支结构的数据。研究者没有对原始嵌入做任何改动——所有信息直接来自 GPT-2-small 的词向量——只是换了一个更合适的几何容器来展示它。整个布局是「精确构造」的，不依赖梯度下降或任何学习过程。

词表的森林结构

可视化揭示了一个清晰的结构性发现：GPT-2 的词表并非一个整体，而是呈森林形态。

• 一棵巨型主树包含约 2,300 个 token，它们彼此互相接近、形成紧密的近邻网络。
• 另有数百棵规模较小的「家族树」，每棵对应一组语义相近的词。
• 还有约 6,700 个孤立 token，它们过于通用（generic），找不到互为最近邻的伙伴。

在 Poincaré 球中，这些孤立 token 集中在靠近中心的高密度内壳里，而语义相关的 token 则沿着径向延伸出去，形成层层嵌套的分支。

交互体验：Möbius 平移

点击任意 token 后，该 token 会成为新的「中心」，整个空间围绕它进行** Möbius 平移**——这是双曲几何中「平移」的自然对应物，类似于在平面中移动原点后再重新绘制坐标系。连续点击相邻 token，用户可以沿语义路径逐步游走。研究者特意用「dog → cats」「Monday → 一周日」这类路径作为示例，引导读者体会空间中的语义连续性。他还提到一个有趣的现象：在主树中，「Trump」这个词在树内的唯一关联词是「Ivanka」。

实现细节

整个项目打包在单个 HTML 文件中，完全在客户端运行，没有后端、没有依赖库加载过程。这意味着它可以离线打开，也方便研究者在文章、演示中嵌入。所有几何运算——从初始嵌入到 Möbius 变换——都在浏览器端实时完成，即使是手机也能流畅操作。这一实现方式也使该工作成为一种轻量级的「可执行论文」：读者不只读到结论，还能亲手验证。

对于关心词嵌入结构、大模型可解释性或几何深度学习的研究者来说，这个工具提供了一个直观、低门槛的入口，去感受「词表不是一袋子离散的 ID，而是有形状的」这一并不总是被显式讨论的事实。