欧盟人工智能法案与医疗诊断 AI:规则的实际内容
医疗诊断 AI 的上市速度快于监管机构的审查速度。近期三项研究指向核心问题:模型难以核查、难以保障安全,且难以量化。

监管的关键不在于 AI 能否诊断,而在于能否证明其诊断的准确性。相隔数月发表的两篇论文显示,这一差距正在扩大。
2026 年 6 月 24 日,慕尼黑工业大学的研究人员在《自然》杂志上报告称,用于诊断的医疗 AI 模型容易受到成员推断攻击(MIA)。这类攻击通过查询,试图判断特定患者的记录是否属于训练集。The Register 当天报道了该论文。团队测试了七个医疗 AI 数据集,涵盖影像、心电图记录和一般电子健康记录。结果显示:个别患者可被识别,作者称攻击成功率接近完美。
这既是隐私问题,也是测量问题。研究人员指出,针对个别患者的接近完美的成功率,标准评估方案无法充分捕捉,因为该方案衡量的是跨记录的整体攻击成功率。简单来说,仅报告平均值的审计可能完全遗漏个别案例。
规则的要求与遗漏
欧盟人工智能法案是这场讨论中被引用最多的框架,但现有材料对其操作细节着墨甚少。材料显示,厂商使用的合规措辞与同期发表的安全研究之间存在差距。
一个名为 srta-ai-accountability 的 GitHub 项目自称是首个解决可解释 AI 中“为什么”问题的系统,并声称符合 94% 的欧盟人工智能法案要求。它被明确标注为研究原型和概念架构。至少对于某些问责工具而言,现状如此:一个 94% 合规的说法发布在代码仓库上,背后没有监管机构为这个数字背书。
慕尼黑那篇论文指向另一个方向。作者希望改变 AI 隐私审计的报告标准,使个体层面的风险被计入,而不仅仅是整体风险。他们还建议采用差分隐私框架,其设计目标是从数学上保证训练数据保持匿名。此外,他们提出训练数据的构成应让代表性不足的群体得到更好的体现。
第一作者 Moritz Knolle 对 The Register 表示,模型的训练群体越具体,成员推断攻击带来的隐私风险就越严重。他举例说,某人属于某个训练数据集这一事实,可能泄露其患有亨廷顿病等潜伏遗传病、抑郁症,或曾去过某家特定的专科治疗诊所。
监管机构必须权衡的准确率声明
诊断性能是监管问题的另一半,而这方面的数据格外混乱。
微软于 2025 年 6 月 30 日发布其 AI 诊断协调器(MAI-DxO)。GeekWire 报道称,该工具在《新英格兰医学杂志》的复杂病例上击败了来自美国和英国的 21 位资深医生,得分为 85.5%,而医生为 20%。WIRED 在 2025 年 7 月 1 日报道同一项工作时给出的数字是 80% 对 20%,并称该系统通过选择更便宜的检查将成本降低了 20%。该基准由 304 个近期的《新英格兰医学杂志》病例构建而成。
这些数字带有两个报道中都出现的限定条件。研究中的医生不得咨询同事,也不得使用外部资源,这与临床医生的实际工作方式不同。麻省理工学院的科学家 David Sontag 对 WIRED 表示,正是出于这个原因,微软的结论应当谨慎对待,且该系统在实践中能否降低成本尚待观察。微软自己也表示,该工具在部署前需要临床测试和监管批准。
还有失败案例。2026 年 4 月 15 日,The Register 报道了《JAMA Network Open》上的一项研究,由哈佛医学生 Arya Rao 领衔。该研究用 29 个标准化临床病例测试了 21 个主流现成 AI 模型。在提供完整信息并要求给出最终诊断时,这些模型的正确率为 91%。但在早期鉴别诊断阶段,即临床医生排除和确认各种可能性的阶段,它们在超过 80% 的情况下失败。
Rao 对 The Register 说,我们测试的每一个模型在绝大多数病例上都失败了。那正是不确定性最关键的阶段,也是这些系统最薄弱的环节。
麻省总医院放射科医生、共同作者 Marc Succi 博士对同一家媒体表示,如今的现成模型在面向患者的诊断推理中不应被信任,除非有结构化、全面的人工复核。他还说,最终诊断上更高的成功率不应让人安心,因为真正的临床推理开始得更早,那时歧义最大。
监管机构需要测试什么
将这三项发现并列,审计问题就变得具体了。
- 隐私:训练集中的个别患者可被高成功率地识别,而代表性不足的群体比其他人更容易被识别。整体报告掩盖了这一点。
- 性能:同一类模型可以在最终诊断上得 91%,却在超过 80% 的早期鉴别病例上失败。
- 基准设计:微软的头条结果来自一场人类医生无法使用其日常资源的测试。
这些都不意味着医疗 AI 无法监管。这意味着现有工具测量的是错误的单位。一个整体隐私评分、一个最终答案准确率,以及一场在人为约束下运行的基准测试,都容易发表,却难以证伪。
Knolle 表示,他希望医疗 AI 界开始认真对待隐私风险,并在必要之处使用风险缓解技术。他也指出,在许多情况下,一次成功的成员推断攻击只代表很小甚至可忽略的隐私侵犯,例如在庞大且普遍的人群上训练的模型。
尚未解决的问题是,谁来判断某个模型属于哪种情况。根据欧盟人工智能法案,这一判断应由提供方和审计方作出,而不是由论文作者,也不是由一个给自己打 94 分的仓库作出。
资料来源
5- 01Medical diagnosis AIs can be tricked into telling whose data trained themEN
- 02Microsoft AI tool outperforms doctors in diagnosing complex medical casesEN
- 03Microsoft Says New AI Diagnosed Patients 4 Times More Accurately Than DoctorsEN
- 04LLMs fail in 8 out of 10 early differential diagnosis casesEN
- 05srta-ai-accountability: AI Accountability FrameworkEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。