开发者发布 GPT-2 词嵌入空间交互地图

一位开发者在 Reddit r/MachineLearning 板块发布了一个基于 GPT-2-small 词嵌入矩阵的交互式可视化工具。该项目提取了 32,070 个字母型 token 的 WTE（Word Token Embedding）向量，无需前向传播或上下文信息，即可在二维平面上呈现整个嵌入表的结构关系。

可视化方法

工具使用 t-SNE 对压缩后的嵌入表进行降维布局，并在此空间中构建最小生成树（MST）作为连边。换言之，地图上每一条线都对应一对真实的最近邻关系，而非随机连接。这种做法使得用户能够直观看到语义相近的 token 在嵌入空间中是否彼此靠近，以及整个词汇表呈现怎样的聚类结构。

交互功能

该可视化面向移动端做了适配，主要交互方式包括：

• 双指捏合缩放画布
• 点击任意 token，查看其最近的若干邻居
• 点击邻居即可「沿着图走」，逐步探索相邻关系
• 顶部搜索框可快速跳转到任意指定 token

局限与定位

需要指出的是，GPT-2 发布于 2019 年，参数规模仅 1.17 亿，嵌入空间的结构与现代大模型相比已显简单。因此，这一工具更多面向教学与直觉理解——帮助学习者具象化「词嵌入」「最近邻」「降维」等概念，而非作为前沿研究产出。项目以个人作品形式发布在 Reddit，源代码与交互界面均链接在原帖中，供感兴趣的读者自行体验。

整体而言，这是一个轻量、直观且有一定动手价值的可视化小品，但并不构成对当前大模型研究或工程实践的实质性推动。