警惕 AI 认知投降：在 AI 辅助开发中保持批判性思维

近期业内开始用「AI Psychosis」（AI 精神错乱）一词，描述那些对 AI 输出照单全收、失去判断力的人。这类现象在软件工程中尤为常见：有人提交一个附带超长 AI 生成描述的 PR，语气极为自信地宣称自己解决了问题，但只要稍加审视就会发现，描述里几乎每一条论断都不成立，整个 PR 只是在「把问题搬到别处」。表面看似言之凿凿，实质是经不起推敲的文字拼贴。

「认知投降」比「精神错乱」更贴切

作者认为，用「精神错乱」来形容这种现象并不合适——这是一个医学术语，而这里发生的事情并不存在医学层面的病因。问题的本质是：使用者没有在调用 AI 之前先理解 AI 是什么、以及它的工作原理。作者更倾向于使用「cognitive surrender（认知投降）」或更口语化的「meat proxy（肉代理）」来命名这一现象，因为它们准确抓住了核心——使用者不是变「疯」了，而是在面对 AI 输出时没有应用批判性思维，往往也并不知道 AI 会持续犯错。

这也意味着，在 AI 辅助工作流里真正具备价值、能将工程师与其他人区分开的，是「对 AI 输出施加批判性思考」的能力。如果一个人只是原样转发 AI 的回答，那么与直接询问 AI 相比，他并没有提供额外价值。

理解范式：AI 辅助，而非 AI 独立

无论厂商把自家最新模型宣传得多么强大，几乎所有 LLM 都会反复出现同类问题：跳到错误结论、遗忘指令、产生幻觉。这些并非可以通过「新一代模型」解决的问题，而是 LLM 这一技术范式本身的局限，只要底层技术不变，这类问题就会持续存在。 任何号称「已解决幻觉」的厂商说法，本质上都只是营销话术。想起 OpenAI 曾宣称 GPT-2 太过危险而不宜发布，但后来证明，这一模型在多轮对话中也很难保持稳定。

因此，对那些需要大量研究的复杂任务，必须实时观察 AI 的工作过程，确认它走在正确的方向上。一发现它做出错误假设，要立刻打断并引导它回到正轨。简单请求可以放手让 AI 自主完成，但复杂任务如果不加监督，几乎必然会走向错误方向。想要深入理解 LLM 为何存在这些问题，最好的方式是自己动手构建一个——Andrej Karpathy 的系列教学视频与教程深入浅出，很值得参考。

始终质疑 AI 的论断

养成反复核查 AI 输出的习惯至关重要。早期作者会直接问 AI「你怎么知道？」「给我证据」，现在则使用 stop hook 让 AI 在每次声称找到结果时自动触发自证。这一方式能促使 AI 不急于跳结论、而是真的去做检索并给出证据。但不能依赖 system prompt 来实现这一点，因为 AI 本身就是会忽略指令的，用 system prompt 来对抗这一问题本身并不可靠。

即便 AI 提供了「证据」，也不要轻易相信。若是一段链接，应该亲自打开确认信息确实存在（且不是另一个 AI 生成的内容）。这种质疑循环要一直持续，直到证据无可辩驳为止。

对代码改动：逐行阅读生成结果

即使按照前述两步走下来得到了可运行的代码，也不意味着代码结构已是最佳。这一点随着模型迭代会有所改善，但无论模型多强，逐行审阅生成代码都应当成为习惯，以避免自身的编程能力逐渐退化。