新组建 AI 团队常踩的三个坑

一位长期从事搜索与 RAG 咨询的工程师在多年顾问生涯中，目睹了大量新组建 AI 团队从兴奋走向碰壁的过程。他将其中最普遍的三个误区做了系统梳理，核心观点如下。

误区一：忽视评估，盲目信任直觉

成熟的搜索与 AI 团队通常会将约一半投入放在「理解问题」上，而非急于给出解决方案。在 AI 领域，这对应的就是评估体系（evals）。无论是寻找产品改进方向、定位智能体的失败环节，还是把用户行为转化为训练数据，评估都是绕不开的基础。

作者建议，应先衡量端到端的产品成功，再拆解到检索、护栏等薄弱环节。他以 12 年前为 Advanced Auto Parts 做内部搜索项目的经历为例：当时他直觉认为员工搜索某产品时想要的只是该产品本身，实际却是「卖哪个我能拿到激励」。这次经历让他学会主动不信任自己的直觉，改为通过评估去发现「应当发生什么」。

误区二：把检索当成一个勾选项

检索质量直接决定 AI 系统的输出质量，但多数团队仍假设存在一套通用的 RAG 架构可以套用到所有场景。实际上，分块策略、检索技术、排序方式、多样性控制等决策点之间差异巨大，仓促选定一条路线会带来显著的沉没成本。

作者建议先用「便宜、简单、粗糙」的方案快速实验，验证有效路径之后再投入成本构建稳健系统，而不是一开始就追求复杂架构。

误区三：上下文不只是分块，更是元数据

经典的 RAG 思路是把文本切成段，向量化后召回相似片段注入上下文。但作者认为，RAG 的本质是向智能体呈现「有用信息」——既要让它判断相关性，也要让它评估可信度与时效性。

他以自己博客文章为例做了对比：

• 孤立段落：「While I worked at Shopify, I implemented a search relevance solution」
• 带元数据版本：除正文外，还包含标题、平台、热度、发布日期等结构化字段

带元数据的版本能帮助 LLM 判断这条信息是否近期、是否可信、是否值得进一步引用。因此，RAG 不应只关心「怎么切」，更要思考「如何把一条信息及其出处表示给 LLM」，并让模型能够基于元数据导航。

工程与数据科学必须合二为一

与搜索团队类似，AI 团队要高效运作，成员必须兼具工程实现与数据科学假设验证的能力，能在分钟级别做出权衡，而不是让数据科学团队「扔过墙」三个月后再发现模型选错、重头再来。作者认为，这也是当下 AI 教育最该补齐的方向。