《自然》论文：医疗AI可被诱导泄露训练数据中的患者身份

The Register于6月24日率先报道了这一发现。相比抽象的模型安全问题，它更让人在意的是对医院、保险公司和AI厂商隐私承诺的冲击。如果训练集成员身份能被确认，训练集本身就成了泄露渠道。这才是令人不安之处。

慕尼黑工业大学医疗与医学人工智能方向负责人Moritz Knolle领导了这项研究。他对The Register表示，这种暴露并非假设：“可以设想这样的情形：训练数据集中的成员身份会暴露某人患有亨廷顿病这类潜伏的遗传病、抑郁症，或者去过某家专门的诊疗机构。”这并不离奇，就是临床病历管理的日常。

成员推断攻击（MIA）在机器学习文献中已被研究多年。基本思路是：模型对见过的输入往往更有把握，攻击者通过查询模型并读取置信度，即可推断数据是否被纳入训练。这篇《自然》论文补充了规模和临床针对性。团队测试了七个医疗AI数据集，涵盖图像、心电图记录和一般电子健康记录。结果显示，单个患者可被识别，攻击成功率接近百分之百。这不是实验室奇闻，而是对模型在特定提问下表现的实际测量。

为什么汇总审计会漏掉它

这一结果与当前评估方式相悖。隐私审计通常在整个数据集上汇总衡量攻击成功率，得出一个让人放心的平均值。论文认为这是错误的分析单位。研究人员写道：“MIA能在单个患者层面达到接近百分之百的成功率，这一点并未被标准评估方案充分反映，该方案是在记录层面汇总衡量攻击成功率的。”结论是，AI隐私审计的报告标准需要修改。

第二个发现与第一个放在一起显得别扭。在训练队列中代表性不足的患者更容易被识别，因为他们的数据点更突出。种族、保险状况、性别、成像协议以及某些疾病状态都可能成为离群点。Knolle总结道：“总体而言，模型的训练队列越特殊，MIA带来的隐私风险就越严重。”

论文指出，数据集越大，单条记录越容易被暴露。研究人员还提到，模型变大时患者层面风险变化的幅度此前并不清楚。对于认为规模带来匿名性的人来说，这很反直觉。在医学影像和基因组学中，规模往往带来相反效果。

攻击者实际需要什么

现实情况更复杂，论文的限定条件也在此处重要。对医疗模型实施MIA，要求攻击者已掌握目标人物的部分数据。Knolle证实了这一点：“实施MIA，攻击者需要拿到一个目标数据点。”但他补充说，论文表明并不需要完整病历，这与此前假设相反：“在论文中我们表明，只掌握部分数据的攻击者仍能成功实施MIA。”

攻击者只需拿到某人的血液检测结果，或者其中一部分结果。

这大大降低了门槛。攻击做法是将部分记录输入模型，读取置信度，推断患者是否在训练集中。研究使用的数据集是匿名化的，Knolle指出，攻击者无需知道数据属于谁就能发起查询。匿名训练数据与具名个人之间的关联必须来自别处，而那个别处往往就是一次数据泄露。

医疗数据泄露足够频繁，这不是理论担忧。Knolle直白地描述了情形：一次常规血液检查后，攻击者未经授权进入全科医生数据库，由此探测模型。

被问及希望研究达到什么效果时，Knolle说，他希望医疗AI界认真对待隐私风险，并在需要的地方采用缓解技术。论文建议采用差分隐私框架，为训练数据匿名提供数学保证；还建议重写审计标准，报告个体层面风险而非汇总风险。Knolle提出的第三种做法是，在编制训练数据时让代表性不足的群体得到更好体现，削弱使其易被识别的离群效应。

他还提醒，不要把每次成功的MIA都当作严重违规。“在很多情况下，一次成功的MIA只代表很小或可忽略的隐私侵害，”他指出，并提到那些在健康人和患病人群都有代表的大型普通人群上训练的模型。

监管空白

对照当前监管状况，这篇论文落在规则迄今难以填补的空间里。医疗AI隐私审计往往关注数据是否合法收集、标识符是否被剥离，而非模型本身能否被追问以重建成员身份。差分隐私技术可用，但未被统一要求。论文的论点本质是：现行评估机制衡量错了对象。

这一空白并非欧洲独有。多个司法管辖区的监管机构一直在研究如何对临床AI工具进行分类和监管，方案从上市前审批到针对低风险应用的轻触式指引不等。在论文作者看来，目前流传的框架没有一个解决了他们实验所展示的个体层面成员风险。

还有平行证据表明，这些系统的诊断表现弱于营销暗示。4月发表于JAMA Network Open、由哈佛医学生Arya Rao领衔、The Register于4月15日报道的研究，用29个标准化临床病例测试了21个现成AI模型。当获得完整信息组合并被要求给出最终诊断时，模型表现良好，领先模型正确率为91%。但在早期鉴别诊断阶段，即临床医生权衡各种可能性的阶段，失败率超过八成。

Rao对The Register说：“我们测试的每个模型在绝大多数病例上都失败了。那是最需要处理不确定性的阶段，也正是这些系统最薄弱的地方。”马萨诸塞总医院放射科医生、论文合著者Marc Succi博士表示，结果表明，在缺乏结构化全面人工复核的情况下，不应信任当今现成模型进行面向患者的诊断推理。

Rao还指出，更严格的失败指标并非全部情况。以原始准确率衡量，即模型完全答对的病例比例，范围为63%到78%。她说这表明即使在更严格定义下判定失败，模型也常常部分正确。

这两篇论文从不同角度指向同一方向。一篇表明模型会泄露训练数据中都有谁，另一篇表明在临床价值最高的推理阶段它们并不可靠。两个发现单独看都不致命，也都不排除在狭窄、监督良好的场景中有效部署的可能。

它们真正动摇的，是这样一个假设：当前的隐私审计加上性能基准，足以认证一个医疗AI是安全的。《自然》论文作者希望改写审计标准，报告个体层面风险。JAMA团队希望关于诊断智能体的营销说法与证据相符。两者要求的是同一件事：让评估反映这些系统如何失败，而不是它们平均而言如何成功。