AI 走进司法与医疗:算法决策的「问责真空」如何填补
作者结合十余年司法实务经验,梳理欧盟 AI Act 与 GDPR 对高风险 AI 系统的监管框架,指出算法辅助司法与医疗…
- 重要性
- 42
- 新颖性
- 32
- 影响面
- 36
- 可信度
- 65
- 实质性
- 52
当算法走进法庭与诊室,责任的归属却变得越来越模糊。一位拥有十三年初审法院工作经验的作者撰文指出,AI 并不是要取代人的判断,而是让「技术止步于何处、判断始于何处」的传统界限变得模糊。真正紧迫的问题已不是「AI 会不会进入司法和医疗系统」——它已经进入了——而是「当算法出错时,谁来负责」。
从研究到临床:AI 如何悄然进入关键决策
机器学习算法本身并非近五年的新事物,真正改变的是它的应用场景:医学影像识别、复发风险评估、法医鉴定报告撰写,这些原本高度依赖专业判断的领域,如今都有算法参与。
在肿瘤学领域,MIT Jameel Clinic 开发的 Sybil 模型仅凭低剂量 CT 扫描即可在症状出现前六年预测肺癌风险,一年期预测 AUC 达到 0.92–0.94。这意味着医学正在诊断「自我感觉完全健康的人」,而这已经不再被视为反常。在法医学领域,雅典比雷埃夫斯大学的 InForensic 等研究平台已经率先将数字工具用于损伤模式识别、死亡时间估计与毒理学数据过滤。作者写道:没有任何官方宣布「事情已经变了」,它就这样变了。
欧盟 AI Act:高风险系统的合规路线图
Regulation (EU) 2024/1689 即「AI Act」已于 2024 年 8 月 1 日生效,并采用分阶段实施的方式。最早的禁令条款自 2025 年 2 月起适用,通用人工智能(GPAI)相关义务自 2025 年 8 月起执行。根据 2026 年 5 月 7 日理事会与欧洲议会就 AI Omnibus 一揽子方案达成的临时政治协议:
- 附件 III 列举的独立高风险 AI 系统(含司法与医疗应用)相关义务,预计推迟至 2027 年 12 月 2 日适用;
- 附件 I 中嵌入受管制产品的高风险 AI 系统相关义务,预计自 2028 年 8 月 2 日起适用,前提是 Digital Omnibus 方案获得通过。
该法规以风险分层为核心架构:将社会评分等被认定为不可接受风险的用途明确禁止;医疗与司法应用则被列入高风险类别,须遵守透明度、文档记录与人工监督等严格要求。附件 III 第 6–8 段明确将处理医疗数据或用于司法程序的系统归为高风险。作者直言:如果一台机器参与了影响生命的决策,就必须有人能坐到被告席上。
GDPR 第 22 条:一项长期被忽视的权利
早在 2018 年起适用的 GDPR 第 22 条就规定:当完全基于自动化处理的决策对当事人产生重大法律影响时,该决策原则上被禁止。这并非一项纯理论条款——每份由算法共同产出的法医意见或再犯风险评估,都涉及该条款的适用空间,前提是有人愿意援引它。
问责的「无人认领」
作者指出,AI 带来的最棘手的法律问题并非定义之争,而是责任归属之困:医生说「是算法推荐的」,厂商说「医生本应行使判断」,机构说「流程都按规范执行」。于是形成一张分布式责任网,让明确的责任主体在结构上变得难以锁定。
过去的模式很直接:决策归属于具名的自然人。如今算法提出建议、专业人员签字、机构提供背书、厂商早已通过免责声明完成切割。一旦出错,原告、被告、患者都没有问过「是哪台模型处理了我的数据」,但每个人都期待有人为此负责——而这个「有人」往往无处可寻。
待续的讨论
作者在文末说明,本文只是一篇入门式的概览,旨在勾勒地形。后续专栏将分别深入展开:算法公平性问题及其对司法实践的影响、AI Act 执行架构中的具体治理缺口、不透明医疗 AI 系统所要求的生物伦理重构,以及分布式人机决策链条中的责任归属问题。围绕 AI 决策的制度性追问,已经无法再被推迟。
