Repérer les patients du jeu d'entraînement est facile, les audits de confidentialité ne le voient pas

Les attaques par inférence d'appartenance (MIA) visent à déterminer si un enregistrement spécifique a servi à l'entraînement d'un modèle. Selon The Register, qui a relayé ces résultats le 24 juin, les modèles d'IA médicale discriminatifs sont particulièrement vulnérables. Entraînés à classer des entrées, ils affichent une confiance mesurablement plus élevée face aux données qu'ils ont déjà vues.

Cette confiance constitue la fuite. L'équipe a analysé sept jeux de données médicaux, couvrant des images, des tracés d'ECG et des dossiers de santé électroniques. Les patients ciblés pouvaient être identifiés avec un succès quasi parfait, selon l'article. Les auteurs soulignent que l'évaluation standard ne détecte pas ce phénomène, car elle mesure le taux de réussite des attaques de manière agrégée, et non personne par personne.

Les cas atypiques sont les plus faciles à exposer

Les groupes sous-représentés dans une cohorte d'entraînement sont plus faciles à identifier que les patients typiques. L'origine ethnique, le statut d'assurance, le sexe, le protocole d'imagerie utilisé ou certains états pathologiques peuvent tous servir de marqueurs atypiques.

De manière générale, les risques pour la vie privée liés aux MIA s'aggravent à mesure que la cohorte d'entraînement d'un modèle devient plus spécifique.

Moritz Knolle, qui dirige la chaire d'IA en santé et médecine à l'université technique de Munich et a mené cette étude, l'a confirmé dans un échange par courriel avec The Register. Il cite l'exemple d'un modèle dont la liste d'appartenance révélerait qu'une personne porte une maladie génétique dormante comme la maladie de Huntington, qu'elle souffre de dépression ou qu'elle a fréquenté une clinique spécialisée. Les jeux de données plus volumineux n'améliorent pas la situation. L'article précise que l'ampleur de la variation du risque au niveau du patient dans les grands modèles restait jusqu'ici inconnue.

L'attaque requiert également moins de ressources que ce que les chercheurs supposaient. Knolle explique à The Register qu'un attaquant a normalement besoin d'accéder à un point de données cible, mais que l'étude montre qu'un accès partiel suffit. Des résultats d'analyses sanguines, ou même une partie de ceux-ci, feraient l'affaire. Tous les jeux de données utilisés dans l'étude étaient anonymisés, et l'attaquant n'a pas besoin de savoir à qui appartiennent les données testées.

Obtenir ces données reste l'obstacle pratique, mais il n'est pas insurmontable. Knolle rappelle que les données médicales ne sont pas toujours stockées de manière sécurisée. Un accès non autorisé à la base de données d'un médecin généraliste après une prise de sang de routine n'est pas impensable.

Ce que les auteurs souhaitent voir changer

Les recommandations de l'article sont procédurales, plutôt que des correctifs techniques aux modèles. L'équipe demande une réécriture des normes d'audit de confidentialité pour évaluer le risque au niveau individuel, et non sur des chiffres agrégés. Elle pointe les cadres de confidentialité différentielle comme moyen d'offrir des garanties mathématiques sur l'anonymat des données d'entraînement. Knolle suggère également de compiler les données d'entraînement de manière à mieux représenter les groupes sous-représentés.

Les enjeux ne sont pas théoriques. Une autre étude, publiée dans JAMA Network Open en avril et couverte par The Register, a constaté que 21 modèles d'IA commerciaux échouaient au diagnostic différentiel précoce dans plus de 8 cas sur 10, bien que les meilleurs modèles atteignent 91 % de précision sur le diagnostic final. Marc Succi, radiologue au Massachusetts General Hospital et coauteur, estime que de tels systèmes ne doivent pas être considérés comme fiables pour un raisonnement diagnostique face au patient sans un examen humain structuré et complet.

Knolle nuance le problème de confidentialité. Dans de nombreuses situations, une attaque par inférence d'appartenance réussie représente une violation faible ou négligeable, notamment lorsque les modèles sont entraînés sur de grandes populations générales incluant des personnes saines et malades. La difficulté réside dans le fait que les résultats de l'article montrent que ce sont précisément les conditions dans lesquelles les protocoles d'audit supposent la sécurité, et celles que les auteurs affirment ne pas être mesurées correctement.