论文提出合成查询探测法比较嵌入模型相似度空间
研究提出通过比对相似度分数分布来比较不同嵌入模型，发现 Titan 与 Ada 等跨族模型相似度呈非线性关系。
一项针对嵌入模型的比较研究提出「合成查询探测」（Synthetic Query Probing）方法，主张通过比对不同模型在同一对内容上的相似度分布，而非直接比较嵌入向量空间，来评估模型之间的可替代性。研究发现，Amazon Titan 系列不同维度版本之间的相似度分数呈线性相关，而 Titan 与 OpenAI Ada 之间则表现为非线性、且取值范围各异的关系。
研究背景：从替换模型说起
在实际工程中，团队常需要更换嵌入模型——例如从 OpenAI 的 ADA 迁移到 Amazon 的 Titan，或根据成本、合规等因素重新选型。然而，嵌入向量空间在数学定义上并不可直接比较，这给模型替换带来了现实障碍：相似度阈值的取值该参照哪个模型？两个模型的检索结果能否对齐？这些是工程实践与基础研究共同关心的问题。
方法思路：相似度空间，而非嵌入空间
论文的核心观点是，放弃直接比较嵌入向量，转而比较「相似度空间」（similarity spaces）。具体做法是构造合成查询（synthetic question）与内容片段（chunk）的配对，让同一对内容经过多个嵌入模型独立编码后，再比较它们之间的相似度分数分布。这种思路承认了嵌入空间之间不可公度的事实，转而以「跨模型的相对行为」作为比较媒介。
关键实验发现
- 同族不同维度：Titan 系列内部，不同输出维度（如 256、512、1024）的版本之间，相似度分数存在可预测的线性关系，便于在同族内进行阈值迁移。
- 跨族非线性：Titan 与 Ada 之间的相似度分数不存在一致的线性换算，且取值范围不同。这意味着直接用「相似度 > 0.8」这样的固定阈值在两套模型间通用并不可靠。
- 研究意义：作者认为，这种相似度空间的对比方法为「根本性地理解不同嵌入空间之间的关系」提供了可操作的工具，也为未来嵌入模型评测提供了新视角。
论文与会议信息
该工作由 Marcin Rozmus 与 Peter van der Putten 合作完成，题为「Similarity Spaces across Embedding Models with Synthetic Query Probing」，已挂在 arXiv（编号 2608.05857），并被 Discovery Science 2026 接收，将于 2026 年 10 月 5–9 日在德国美因茨会议期间展示。该方法对正在做模型迁移的工程团队具有直接参考价值。