ChatGPT主动报警抓人:AI举报权与隐私边界之争
前高盛分析师向ChatGPT详述谋杀计划,OpenAI安全系统识别后主动通报FBI,引发AI能否越界上报用户对话的广泛争…
今年5月,美国发生了一桩被称为「全球首例AI报警抓人」的案件:一名高盛前分析师在ChatGPT对话中详细描述了针对前女友的谋杀计划,包括购置枪支、绑架细节和作案时间线。OpenAI的安全系统在识别到高危内容后,主动将线索提交FBI。5月29日,当事人被捕,随后获判8年缓刑。事件在阻止恶性犯罪的同时,也掀起了关于AI是否拥有「举报权」的激烈争论。
事件还原:六个月的犯罪预演
当事人周某毕业于美国东北大学,曾任高盛分析师。2025年3月,其21岁的前女友因无法忍受其控制欲提出分手。此后周某展开持续骚扰:更换号码发送短信、追踪定位,甚至在对方生日当天发送精确到健身房的定位信息。
在现实纠缠的同时,周某将无法排解的暴力倾向倾泻给ChatGPT。最初只是失恋倾诉,随后逐步升级为完整的犯罪预演,包括:
- 携带鲜花守在前女友健身房停车场,若被拒绝便拔枪杀害并自杀
- 描述持枪绑架、性侵、劫持的具体方案
- 发送AR-15步枪、格洛克手枪及扎带的照片
这些持续两个月、不断具体化的暴力内容,触发了OpenAI多标签有害内容分类模型。该系统不仅识别显性暴力词汇,还会结合情绪强度和语气意图评估风险等级。当后台判定用户正在筹划严重伤害他人的犯罪行为时,内容即转入人工审核。OpenAI审核团队确认风险后,主动将线索通报FBI。今年5月,FBI将ChatGPT记录与受害者手中证据比对,确认威胁可信后通报当地警方。
报警与否:平台标准取代司法程序
这起案件并非孤例。就在几个月前,加拿大不列颠哥伦比亚省发生大规模枪击,造成多人死伤。事后披露显示,行凶的18岁枪手案发前同样长期在ChatGPT讨论枪支暴力内容,系统也曾标记风险,但OpenAI高层最终选择不联系执法部门,仅封禁账号,理由是「尚未达到通报内部门槛」。
两起案件形成鲜明对照:AI并不会遇到暴力表述就自动报警,是否上报完全取决于平台自身的规则判断,而非一套普适、法定的统一标准。
在传统司法流程中,公民私人数据的调取必须遵循「司法授权、法定流程、有限取证」三大原则。但ChatGPT此次操作跳出了这套框架:算法自主识别风险,企业人员自主审核内容,企业自主决定是否移交数据,整个过程无需法院前置审批,也不会告知用户本人。商业平台事实上承接了一部分公共安全判断职能,却游离于司法监管约束之外。
犯罪幻想、动机与预备:三个易混概念
讨论AI举报边界,需要分清三个极易混淆的法律概念:
- 犯罪幻想:纯粹的情绪宣泄或创作构思,没有明确加害对象,不存在现实威胁。例如悬疑小说写作中的暴力推演
- 犯罪动机:埋藏于内心的作恶念头,隐秘且主观,传统司法中仅凭动机无法定罪
- 犯罪预备:在动机之上进一步制定方案、置办工具、踩点推演,具备清晰目标与现实危险性
回到美国案件,当事人之所以获刑认罪,在于其本身存在现实骚扰行为,且本人认罪,避开了证据合法性的激烈争辩。但从行业视角看,平台未经司法许可主动提取并上交聊天记录,证据合法性仍存争议。用户向AI倾诉建立在对话私密的信任之上,平台在没有司法文书、不告知当事人的前提下单方面调取移交,本质上属于企业私自取证。
边界划定:AI风控的红线与底线
合理的AI风控边界应以紧迫性、具体性、可识别性为锚点:
- 存在明确、可识别的受害者,而非空泛的情绪宣泄
- 内容呈现从情绪到计划的持续升级,而非零散冲动的只言片语
- 存在现实化迹象,如购置工具、踩点、持续骚扰等可佐证行为
同时,边界必须有不可逾越的底线:模糊的愤怒、文学化的暴力想象、没有具体目标的宣泄不应触发上报;审核结论应留痕可复核,避免算法误伤普通用户;用户在入口处应被明确告知「对话在特定条件下会被审阅并可能移交执法部门」。
AI风控的初衷是防范风险、守护安全。技术可以成为预警犯罪的辅助工具,但绝不能脱离法律框架,僭越司法的审判与裁定权力。在鼓励AI发现并阻止更多潜在恶性事件的同时,行业也需要尽快建立清晰的隐私规范、统一的权责划分与有效的第三方监督,避免「安全预警权」从防范犯罪的工具异化为无差别监控用户的手段。
