L'IA médicale peut identifier les patients ayant servi à son entraînement

L'attaque s'appelle inférence d'appartenance (MIA). The Register rapportait le 24 juin que l'équipe avait analysé sept jeux de données d'IA médicale, couvrant des images, des ECG et des dossiers de santé électroniques. Les patients ciblés peuvent être identifiés avec un succès quasi parfait, selon les chercheurs. Ce résultat échappe au protocole d'évaluation standard, qui mesure le taux de réussite de manière agrégée sur l'ensemble des dossiers.

Les IA médicales affichent une confiance accrue lorsque les données d'entrée figurent déjà dans leur jeu d'entraînement. Un attaquant soumet les données d'un patient au modèle, observe le niveau de confiance et en déduit que ce patient faisait partie de la cohorte d'entraînement.

Moritz Knolle, chercheur à l'université technique de Munich et premier auteur de l'étude, a expliqué à The Register qu'un attaquant n'a pas besoin de connaître l'identité du propriétaire des données. « En fait, tous les jeux de données utilisés dans notre étude étaient anonymisés », a-t-il précisé. Un accès partiel suffit. « L'attaquant n'aurait besoin que des résultats d'analyse sanguine de quelqu'un, ou d'une partie de ceux-ci. »

Les cas atypiques sont les plus faciles à repérer

Le profil des patients exposés est préoccupant. Les groupes sous-représentés dans les données d'entraînement sont plus faciles à identifier que les patients dont les dossiers sont banals. L'article cite la race, le statut d'assurance, le sexe, le protocole d'imagerie et certains états pathologiques comme des facteurs de risque. Knolle résume : « En général, les risques pour la vie privée liés aux MIA s'aggravent à mesure que la cohorte d'entraînement devient plus spécifique. »

Il cite l'exemple d'une cohorte révélant une maladie génétique dormante comme la maladie de Huntington, une dépression ou la fréquentation d'une clinique spécialisée. L'appartenance à la cohorte laisse donc fuiter le diagnostic. L'étude montre aussi que plus le jeu de données est volumineux, plus les dossiers sont exposés. L'ampleur de cette augmentation du risque individuel dans les grands modèles était inconnue jusqu'ici.

L'attaquant dispose de quelques données médicales sur les cibles. Les fuites de données de santé sont fréquentes, ce qui abaisse la barre. Knolle évoque le scénario d'un accès non autorisé à la base de données d'un généraliste après une prise de sang de routine.

Son objectif est précis : que la communauté de l'IA médicale prenne au sérieux les risques pour la vie privée et applique des mesures d'atténuation. L'article recommande des cadres de confidentialité différentielle, qui garantissent mathématiquement l'anonymat des données d'entraînement. Il appelle également à réviser les normes d'audit pour mesurer le risque individuel plutôt qu'agrégé. Mieux représenter les groupes sous-représentés lors de la compilation des données est une autre option soulevée.

Les régulateurs rattrapent leur retard

Ce constat s'inscrit dans un paysage réglementaire en mouvement, mais inégal. IntuitionLabs, dans un rapport actualisé le 18 août, évalue à environ 950 le nombre de dispositifs d'IA et d'apprentissage automatique autorisés par la FDA à la mi-2024, avec environ 100 nouvelles autorisations par an. Des analystes de marché cités dans ce rapport valorisaient les dispositifs médicaux à base d'IA à 13,7 milliards de dollars en 2024 et projetaient plus de 255 milliards de dollars d'ici 2033. La radiologie domine les autorisations, suivie par la cardiologie, la neurologie, l'anesthésiologie et l'ophtalmologie.

Le même rapport note que les revues systématiques ne trouvent qu'une infime fraction de dispositifs d'IA autorisés appuyés par des essais randomisés ou des données de résultats patients. Des dysfonctionnements ont été liés à des blessures et, dans un cas, à un décès. Il cite un outil de tri en réanimation qui sous-identifiait les patients noirs pour des soins supplémentaires, ainsi que des études de coloscopie où les taux de détection des médecins baissaient lorsqu'ils s'appuyaient sur l'IA.

Sur la vie privée, l'exigence d'un audit individuel se heurte à un système conçu pour le reporting agrégé. Les résumés de décision de la FDA omettent souvent des détails critiques sur l'efficacité et la sécurité, selon IntuitionLabs. L'adhésion mondiale aux normes reste inégale. Le règlement européen sur l'IA, en vigueur depuis 2024, classe de nombreux systèmes d'IA de santé comme à haut risque et ajoute des obligations de conformité au règlement sur les dispositifs médicaux. L'OMS a publié des recommandations en 2023 couvrant la transparence, la qualité des données et la surveillance du cycle de vie.

MD+DI a publié un entretien avec Suzanne Levy Friedman, avocate spécialisée dans les dispositifs médicaux auprès de la FDA. Le dernier décompte dont elle disposait dépassait un millier de dispositifs à base d'IA autorisés par la FDA. Aucun n'intègre un modèle en apprentissage continu. Certains de ses clients récents en sont stupéfaits. Elle, non.

« Avec toute l'excitation autour de l'innovation, les gens oublient que la FDA est avant tout une agence de santé publique », a déclaré Friedman à MD+DI. « Elle n'essaie pas d'être difficile, elle cherche à s'assurer que les patients ne soient pas blessés et que les cliniciens disposent des bonnes informations, sans se fier par inadvertance à des outils non validés. »

Friedman a signalé deux lacunes antérieures à cette étude. Le logiciel évolue plus vite que le cadre réglementaire conçu pour le matériel. La dérive des performances en conditions réelles peut affecter des produits validés dès que la composition des patients change, comme pendant la pandémie de COVID. Le biais algorithmique s'y ajoute. La FDA demande aux fabricants des détails granulaires sur leurs algorithmes, ce que certains jugent excessif.

Le problème des preuves cliniques

La vie privée n'est pas le seul point faible. The Register rapportait le 15 avril une étude de JAMA Network Open, dirigée par l'étudiant en médecine de Harvard Arya Rao, qui a testé 21 modèles d'IA commerciaux sur 29 vignettes cliniques standardisées. Les modèles étaient corrects 91 pour cent du temps sur le diagnostic final lorsqu'on leur fournissait un dossier complet. Sur le diagnostic différentiel précoce, étape où les cliniciens écartent ou retiennent des hypothèses dans l'incertitude, le taux d'échec dépassait 80 pour cent.

« Chaque modèle que nous avons testé a échoué sur la grande majorité des cas », a déclaré Rao à The Register. « C'est l'étape où l'incertitude est la plus forte, et c'est là que ces systèmes sont les plus faibles. »

Le coauteur Marc Succi, radiologue au Massachusetts General Hospital, a averti que la confiance sans raisonnement est un danger en soi, surtout pour les patients anxieux. Il a souligné que de bons scores en diagnostic final peuvent créer un faux sentiment de sécurité, car le raisonnement clinique commence plus tôt, quand l'ambiguïté est maximale. Rao a noté que la métrique d'échec stricte n'est pas la seule lecture possible : la précision brute variait de 63 à 78 pour cent, ce qui signifie que les modèles avaient souvent partiellement raison.

Les deux articles pointent dans la même direction sous des angles différents. L'un montre que les données d'entraînement d'un modèle de diagnostic peuvent être interrogées pour identifier les patients qu'elles contiennent. L'autre montre que ces mêmes modèles, priés de raisonner comme des cliniciens, échouent au moment où les enjeux sont les plus élevés. Ces travaux sont arrivés alors que les normes d'audit censées détecter ces problèmes sont encore en cours de rédaction.

La réserve de Knolle mérite d'être notée. Il a déclaré à The Register qu'il existe de nombreuses situations où une MIA réussie représente une violation de la vie privée faible ou négligeable, notamment pour les modèles entraînés sur de grandes populations générales comprenant des individus sains et malades. Le risque se concentre là où les cohortes sont étroites, et les cohortes étroites sont exactement ce dont l'IA médicale spécialisée a besoin.