AI 会先放大生物灭绝风险，再有可能降低它

一篇在 Hacker News 上引发讨论的 AI 安全观点文章提出了一个反直觉的论点：在近期，AI 反而会放大而非降低人类面临的生物灭绝风险。文章的核心命题是：要靠对齐的超级智能（ASI）来抵御合成生物学带来的生存性威胁，这个论证思路并不成立。

核心论点：AI 加速科学本身就是风险

文章作者首先梳理了一种流行叙事：如果我们不能尽快构建对齐的 ASI，人类可能因其他原因灭绝，因此应当冒着风险加速 ASI 的研发。其中最常被提及的非 AI 灭绝风险是合成生物学——某座实验室可能意外或有意制造出高度传染、100% 致命的「超级瘟疫」，从而毁灭人类。支持者认为，对齐的 ASI 可以关停危险的生物研究，或开发先进对策阻止致命感染扩散。

然而文章认为，这个论证在近期恰恰走向反面。AI 模型对生物武器相关请求的拒绝并不稳健，攻击者只要找到一个 jailbreak 就能绕过；即使头部厂商把模型做得无法越狱，竞争对手也几乎必然会出现漏洞。更致命的问题在于：危险并非只来自 AI 助手能「直接做什么」，而在于 AI 整体加速了科学进步的速度。当人类整体的知识水平提高时，即便 AI 不直接协助，研发出存在性风险病原体的门槛也会随之降低。

进攻-防御平衡与时间压缩

文章援引了一个关键观察：在当前科学水平下，人类几乎不具备研发灭绝级生物武器的能力；如果未来理解达到足够高度，这种能力会从零跃升为非零，与进攻-防御平衡无关。

据此，作者推断：即便不引入 AI，人类大概率也会在一百年内掌握制造灭绝级病原体所需的科学知识；而如果 AI 让一百年的科学进步在十年内完成，那么邪恶科学家到 2036 年就可能借助加速的科学成果完成其目标。作者承认「2036 年有 AI 时的生物风险」未必高于「2126 年没有 AI 时」，但单位时间内的风险必然更大——高速冲刺让高风险窗口提前到来，留给政策制定者识别风险、做出反应、讨论方向的时间被大幅压缩。

「控制科学」必然走向全面控制

文章进一步指出：若想加速生物学进步而不增加灭绝风险，唯一的办法是让 AI 完全掌控科学能力——让人类无法利用日益精进的生物学知识去开发生物武器。在作者看来，这只有在所有科学研究都由 AI 主导、人类不再参与的情况下才可能实现。

文章列举了几种试图回避这一两难的方案：例如「政府管控 AI，AI 管控其他人」，但即便政府是民选的，这种安排也接近一种极端的威权形态，本质上等于人类失去了对未来走向的掌控权。换言之，文章认为「既要人类留在驾驶位、又要 AI 替我们挡住生物武器」无法同时成立。

文章未展开的部分

原文在「让政府控制 AI、AI 控制其他人」的讨论处被截断，后续章节（含「低生物风险与高 AI 接管风险的权衡」、「加速 AI 发展并非降低生物风险的好办法」、「我们仍不知道对齐 AI 意味着什么」以及注释部分）未能获取。基于已有内容，文章的主要论据——AI 加速科学本身就是近期生物风险放大的来源、且控制风险需要 AI 全面接管科学——仍然成立，但完整论证、反驳与结论需要结合被截断的章节才能做出更全面的判断。

对中文读者而言，这篇文章的价值不在于提供新数据或新模型，而在于把 AI 安全讨论中常被一笔带过的「速度问题」摆到台面：当我们争论 AI 究竟会救人还是害人时，单位时间内的风险变化本身就是一个必须被纳入决策的维度。