Le IA mediche possono rivelare su quali dati sono state addestrate, secondo uno studio su Nature

Il risultato, riportato per la prima volta da The Register il 24 giugno, conta meno per la sicurezza dei modelli in astratto che per le promesse di privacy fatte ai pazienti da ospedali, assicuratori e fornitori di IA. Se l'appartenenza a un set di addestramento può essere confermata, quel set diventa un canale di divulgazione. È questo il punto critico.

Moritz Knolle, che dirige la cattedra di IA in sanità e medicina al Politecnico di Monaco e ha guidato lo studio, ha spiegato a The Register che il rischio non è ipotetico. "Si possono immaginare scenari in cui l'appartenenza a un dataset rivela che qualcuno ha una condizione genetica latente come la malattia di Huntington, una depressione, o che ha frequentato una clinica specializzata specifica", ha detto. Non è uno scenario esotico. È la routine della gestione delle cartelle cliniche.

La classe di attacco non è nuova. Gli attacchi di inferenza di appartenenza (MIA) sono studiati nella letteratura sul machine learning da anni. La tecnica è ben nota: un modello tende ad essere più sicuro degli input che ha già visto, quindi un attaccante che interroga il modello e legge i punteggi di confidenza può dedurre l'inclusione. Lo studio su Nature aggiunge scala e specificità clinica. Il team ha testato sette dataset di IA medica, coprendo immagini, elettrocardiogrammi e cartelle cliniche elettroniche generali. I pazienti individuali potevano essere identificati con un successo dell'attacco descritto come quasi perfetto. Non è una curiosità da laboratorio. È una misura di come questi modelli reagiscono quando viene posta la domanda giusta.

Perché le verifiche aggregate non lo rilevano

Questo risultato contraddice il modo in cui i modelli vengono attualmente valutati. Le verifiche sulla privacy misurano tipicamente il successo dell'attacco in forma aggregata su un dataset, producendo una media rassicurante. Lo studio sostiene che questa è l'unità di analisi sbagliata. "Il fatto che le MIA possano raggiungere tassi di successo quasi perfetti per singoli pazienti non è adeguatamente colto dal protocollo di valutazione standard, che misura il successo in forma aggregata sui fascicoli", scrivono i ricercatori. La conclusione è che gli standard di rendicontazione per le verifiche sulla privacy dell'IA devono cambiare.

C'è un secondo risultato che stride con il primo. I pazienti sottorappresentati in una coorte di addestramento sono più facili da identificare, perché i loro dati si distinguono. Razza, stato assicurativo, sesso, protocollo di imaging e certi stati patologici possono funzionare come valori anomali. Il riassunto di Knolle è netto: "In generale, i rischi per la privacy derivanti dalle MIA diventano più gravi man mano che la coorte di addestramento di un modello diventa più specifica".

Secondo lo studio, più grande è il dataset, più facili da esporre sono i singoli fascicoli. I ricercatori notano che l'entità di questo cambiamento nel rischio a livello di paziente nei modelli più grandi era precedentemente sconosciuta. È un risultato controintuitivo per chi presume che la scala porti anonimato. Nell'imaging medico e nella genomica, spesso fa l'opposto.

Di cosa ha davvero bisogno un attaccante

Qui il quadro pratico si complica, ed è qui che contano le cautele dello studio. Eseguire una MIA contro un modello medico richiede che l'attaccante possieda già alcuni dati della persona da identificare. Knolle lo ha confermato. "Per condurre una MIA un attaccante ha bisogno di accedere a un punto dati obiettivo", ha detto a The Register, aggiungendo che lo studio mostra come non sia richiesto un fascicolo completo del paziente, contrariamente a presupposti precedenti. "Nel nostro studio mostriamo che un attaccante con accesso parziale può comunque condurre con successo le MIA".

L'attaccante avrebbe semplicemente bisogno di accedere ai risultati delle analisi del sangue di qualcuno, o a una parte di questi risultati.

Questo abbassa notevolmente la soglia. L'attacco funziona somministrando il fascicolo parziale al modello, leggendo il livello di confidenza e deducendo che il paziente è nel set di addestramento. I dataset usati nello studio erano anonimizzati. Knolle sottolinea che l'attaccante non deve sapere a chi appartengono i dati per eseguire l'interrogazione. Il collegamento tra dati anonimizzati e un individuo identificato deve venire da altrove, ma quell'altrove è spesso una violazione.

Le violazioni dei dati sanitari sono frequenti al punto che non si tratta di una preoccupazione teorica. Knolle delinea lo scenario senza giri di parole: un attaccante ottiene accesso non autorizzato al database di un medico di base dopo un esame del sangue di routine, e da lì può sondare il modello.

Chiesto cosa si aspetti dalla ricerca, Knolle ha detto di sperare che la comunità dell'IA medica prenda sul serio i rischi per la privacy e applichi tecniche di mitigazione dove necessario. Lo studio raccomanda quadri di privacy differenziale, progettati per fornire garanzie matematiche che i dati di addestramento restino anonimi, e uno standard di verifica rielaborato che riporti il rischio a livello individuale invece che aggregato. Una terza opzione, sollevata da Knolle, è compilare i dati di addestramento in modo che i gruppi sottorappresentati siano meglio rappresentati, riducendo l'effetto di valore anomalo che li rende facili da identificare.

Ha anche messo in guardia dal trattare ogni MIA riuscita come una violazione grave. "Ci sono molte situazioni in cui una MIA riuscita rappresenta una violazione della privacy piccola o trascurabile", ha osservato, indicando modelli addestrati su grandi popolazioni generali dove sono rappresentati sia individui sani sia malati.

Il vuoto normativo

Rispetto al quadro normativo attuale, lo studio si colloca in uno spazio che le regole hanno finora faticato a riempire. Le verifiche sulla privacy per l'IA medica tendono a concentrarsi su se i dati siano stati raccolti lecitamente e se gli identificatori siano stati rimossi, non su se il modello stesso possa essere interrogato per ricostruire l'appartenenza. La privacy differenziale è disponibile come tecnica, ma non è richiesta in modo uniforme. L'argomento dello studio è essenzialmente che il regime di valutazione sta misurando la cosa sbagliata.

Questo vuoto non è esclusivo dell'Europa. Le autorità di regolamentazione in diverse giurisdizioni hanno lavorato su come classificare e supervisionare gli strumenti di IA usati in ambito clinico, con proposte che vanno da regimi di approvazione preventiva a orientamenti più leggeri per applicazioni a rischio inferiore. Nessuno dei quadri in circolazione, per quanto riguarda gli autori dello studio, affronta il rischio di appartenenza a livello individuale che i loro esperimenti dimostrano.

Esiste un corpus parallelo di prove che suggerisce come anche la performance diagnostica di questi sistemi sia più debole di quanto implichi il marketing. Una ricerca pubblicata su JAMA Network Open in aprile, guidata dalla studentessa di medicina di Harvard Arya Rao e trattata da The Register il 15 aprile, ha testato 21 modelli di IA pronti all'uso su 29 vignette cliniche standardizzate. I modelli si sono comportati bene quando ricevevano un portfolio completo di informazioni e veniva chiesta una diagnosi finale, con i modelli migliori corretti nel 91 percento dei casi. La diagnosi differenziale precoce, la fase in cui i clinici soppesano possibilità concorrenti, ha fallito in più di 8 casi su 10.

"Ogni modello che abbiamo testato ha fallito nella stragrande maggioranza dei casi", ha detto Rao a The Register. "È la fase in cui l'incertezza conta di più, ed è dove questi sistemi sono più deboli". Il dottor Marc Succi, radiologo al Massachusetts General Hospital e coautore, ha detto che i risultati suggeriscono che i modelli pronti all'uso di oggi non dovrebbero essere considerati affidabili per il ragionamento diagnostico rivolto al paziente senza una revisione umana strutturata e completa.

Rao ha anche osservato che la metrica di fallimento più severa non era tutta la storia. Misurata come accuratezza grezza, la proporzione di casi in cui un modello ha dato la risposta completamente corretta variava dal 63 al 78 percento. Secondo lei questo suggerisce che i modelli erano spesso parzialmente corretti anche quando fallivano secondo la definizione più severa.

I due studi puntano nella stessa direzione da angolazioni diverse. Uno mostra che i modelli possono rivelare chi era nei loro dati di addestramento. L'altro mostra che sono inaffidabili nella fase di ragionamento in cui il valore clinico è più alto. Nessuno dei due risultati è fatale di per sé, e nessuno dei due esclude un impiego utile in contesti ristretti e ben supervisionati.

Ciò che entrambi minano è il presupposto che le attuali verifiche sulla privacy e i benchmark di performance insieme siano sufficienti a certificare un'IA medica come sicura. Gli autori dello studio su Nature vogliono che gli standard di verifica siano riscritti per riportare il rischio a livello individuale. Il team di JAMA vuole che le affermazioni di marketing sugli agenti diagnostici corrispondano alle prove. Entrambe sono richieste della stessa cosa: una valutazione che rifletta come questi sistemi falliscono, non come riescono in media.