Gli audit sulla privacy dell'AI medica ignorano le fughe di dati dei singoli pazienti, rivela uno studio su Nature

Un gruppo di ricercatori tedeschi ha testato sette dataset di AI medica, composti da immagini, tracciati ECG e cartelle cliniche elettroniche generali. Gli attacchi di inferenza di appartenenza (MIA), che interrogano un modello per verificare se un dato specifico faccia parte del set di addestramento, hanno funzionato molto meglio sui singoli pazienti di quanto suggeriscano le metriche aggregate sulla privacy. The Register ne ha riferito il 24 giugno.

La conclusione dello studio mette in difficoltà chi valuta l'AI medica secondo le norme attuali. "Il fatto che le MIA possano raggiungere tassi di successo quasi perfetti sui singoli pazienti non viene adeguatamente colto dal protocollo di valutazione standard, che misura il successo dell'attacco in forma aggregata sui record", scrivono i ricercatori, sostenendo che gli standard di rendicontazione degli audit sulla privacy dell'AI debbano cambiare.

Chi è più facile identificare

I pazienti sottorappresentati in un set di addestramento sono i più facili da individuare. Secondo l'articolo, razza, stato assicurativo, sesso, protocollo di imaging utilizzato e determinate condizioni patologiche possono agire come valori anomali che affilano l'attacco.

Moritz Knolle, che presiede la cattedra di AI in Healthcare and Medicine alla Technical University of Munich e ha guidato lo studio, ha descritto le implicazioni pratiche a The Register via email. "In generale, i rischi per la privacy derivanti dalle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica", ha dichiarato. Ha aggiunto che l'appartenenza al set potrebbe rivelare una condizione genetica latente come la malattia di Huntington, la depressione o la frequentazione di una clinica specializzata per trattamenti. In altre parole, una fuga del set di addestramento può esporre condizioni che le persone non hanno dichiarato altrove.

Altri due risultati peggiorano il quadro. Più grande è il dataset, più facile è esporre i singoli record. Lo studio afferma che l'entità di questo spostamento nel rischio a livello di paziente nei modelli più grandi non era mai stata misurata prima.

Cosa serve davvero a un attaccante

L'attacco sfrutta una particolarità semplice: un'AI medica tende a essere più fiduciosa quando l'input ha già fatto parte dei suoi dati di addestramento. Un attaccante inserisce i dati del paziente, legge il livello di confidenza e ne deduce l'appartenenza.

"Nel nostro articolo mostriamo che un attaccante con accesso parziale può comunque condurre con successo le MIA", ha detto Knolle a The Register.

Questo è importante perché in precedenza si presumeva che fosse necessaria una cartella clinica completa. Knolle ha affermato che a un attaccante basterebbe "semplicemente accedere ai risultati delle analisi del sangue di qualcuno, o a parte di questi risultati" per dedurre l'inclusione. I dataset utilizzati nello studio erano anonimizzati, ha precisato. I dati bersaglio, in altre parole, non devono esserlo.

Ottenere quei dati è la parte più difficile, ma non proibitiva. Knolle ha indicato la frequenza delle violazioni nel settore sanitario, suggerendo che un attaccante potrebbe ottenere accesso non autorizzato al database di un medico di base dopo un normale esame del sangue.

Perché le regole degli audit sono il punto

Lo studio non sostiene che ogni MIA riuscita sia uno scandalo. Knolle ha detto a The Register che molti attacchi riusciti rappresentano una violazione della privacy piccola o trascurabile, citando il caso di modelli addestrati su grandi popolazioni generali in cui individui sani e malati sono entrambi ben rappresentati. Il problema è più ristretto e più difficile da regolamentare: coorti specifiche, malattie rare e qualsiasi gruppo che compare troppo raramente nei dati di addestramento.

In aprile, uno studio separato su JAMA Network Open, guidato dalla studentessa di medicina di Harvard Arya Rao, ha testato 21 modelli di AI commerciali su 29 vignette cliniche. I modelli hanno raggiunto una diagnosi finale corretta nel 91 percento dei casi, ma hanno fallito nella diagnosi differenziale precoce in più di 8 casi su 10, ha riferito The Register il 15 aprile. Il coautore Dr. Marc Succi, radiologo al Massachusetts General Hospital, ha affermato che tali sistemi "possono proiettare confidenza senza mostrare un ragionamento robusto". Lo schema è lo stesso sfruttato dallo studio sulla privacy: la confidenza del modello non è un segnale affidabile, eppure viene utilizzata come tale in due contesti molto diversi.

I regolatori si stanno muovendo, anche se la direzione non è definita. Tra i titoli recenti raccolti per contesto ci sono una proposta britannica per una regolamentazione dell'AI sanitaria con "L-plate", norme a livello statale negli Stati Uniti e linee guida dell'australiana TGA sui dispositivi medici con AI. Nessuna di queste misure affronta il divario specifico individuato dal team di Knolle, perché il divario sta in come viene misurata la privacy, non in se un dispositivo viene approvato.

I ricercatori raccomandano quadri di privacy differenziale, che mirano a dare una garanzia matematica che i dati di addestramento restino anonimi, e una riscrittura degli standard di audit sulla privacy affinché valutino il rischio a livello individuale invece che aggregato. Una terza opzione sollevata da Knolle è più diretta: compilare i dati di addestramento in modo che i gruppi sottorappresentati compaiano più spesso, riducendo l'effetto anomalo che li rende identificabili in primo luogo.

"Spero che la comunità dell'AI medica inizi a prendere sul serio i rischi per la privacy e che le tecniche di mitigazione del rischio vengano utilizzate nelle situazioni in cui sono necessarie", ha detto Knolle a The Register.