研究论文
GPT-2 Small 中「Trump」词嵌入的离散与连续近邻对比
社区研究者可视化 GPT-2 Small 静态词嵌入，比较「Trump」在离散化与连续坐标下的近邻差异。
2026.07.19 · 周日约 2 分钟阅读
一篇发布在 Reddit r/MachineLearning 的可视化分析，聚焦 GPT-2 Small 的静态词嵌入表，观察「Trump」这一 token 在未经注意力机制加工前所处的嵌入空间结构。该分析不涉及任何提示工程或文本生成，所有结果均直接来自模型学到的词嵌入参数。
研究方法概述
研究者对 GPT-2 Small 词表中 32,070 个至少包含两个字符的字母型 token 进行了 t-SNE 降维可视化，并选取「Trump」一词，分别在两种坐标表示下计算其最近邻：
- 离散化表示：先对每个嵌入坐标做阈值化处理再求近邻。
- 连续表示：保留原始连续坐标，直接求近邻。
通过对比同一 token 在两种表示下的邻居分布，揭示嵌入坐标在连续空间中编码的语义结构。
离散 vs 连续的近邻差异
- 离散化近邻：结果以泛化的政治人物为主，包括 Mitt、Hillary、Pelosi、Blair 等。语义层次较浅，偏向「政治人物」这一粗粒度类别。
- 连续近邻：结果则呈现高度具体的关联群体，涵盖家族成员、幕僚、政敌及其他总统，例如 Obama、Clinton、Bush、Eisenhower 等。语义层次更深，更贴近「与 Trump 相关的具体人物网络」。
两种表示得到的近邻集合差异显著，说明仅靠坐标的符号/阈值信息会丢失嵌入向量中编码的细粒度语义关系。
分析价值与局限
该可视化展示了一个直观现象：大模型的词嵌入在连续空间中存储了远超类别标签的关联信息，离散化会抹平这些细节。这对理解 embedding 的可解释性、以及如何对 embedding 做后处理（如量化、二值化）具有一定参考意义。
不过需要指出，分析对象是 2019 年发布的 GPT-2 Small，模型规模与上下文能力均已远落后于当前主流模型；且该帖以社区讨论形式呈现，未附正式论文或系统性 benchmark，结果更适合作为教学示例或直觉启发，而非可直接复用的结论。