L’intelligenza artificiale potrebbe ridurre gli errori nei referti radiologici

GPT-4, un sistema avanzato di intelligenza artificiale di Open AI, la società di ChatGPT, ha dimostrato di essere altrettanto abile, ma molto più veloce di un gruppo di radiologi esperti nell’individuare gli errori presenti nei referti radiologici.

Questo è il risultato di uno studio retrospettivo tedesco, pubblicato sulla rivista Radiology, in cui ricercatori dell’Università di Colonia hanno testato l’efficienza dell’intelligenza artificiale (IA) nella lettura e interpretazione di referti radiologici, soggetti a errori umani dovuti a fattori tra i quali inaccuratezza della dettatura vocale, eccessivi carichi di lavoro, ambienti di lavoro frenetici.

In 200 referti radiologici sono stati inseriti 150 errori

Lo studio ha considerato 200 referti radiologici di tipo misto (RX, RMN e TAC) riguardanti varie condizioni cliniche, eseguiti tra giugno e dicembre 2023 presso un centro ospedaliero della città di Colonia. Gli stessi sono stati randomizzati in due gruppi, ciascuno composto da 100 referti; in uno dei due gruppi sono stati deliberatamente inseriti 150 errori, con un massimo di tre per ciascun referto, in modo da rispecchiare gli errori più frequentemente commessi nella compilazione.

Gli errori più comuni possono essere ricondotti a omissione di vocaboli, inserimento di espressioni o termini scorretti, confusione di parole, errori di scrittura, oppure riguardanti la serie o numerazione delle immagini, le unità di misura, la punteggiatura. Un tipo di errore molto frequente è inoltre la confusione tra destra e sinistra.

La rilettura è stata affidata a sei radiologi, con vari livelli di esperienza, e a GPT-4, con l’obiettivo di valutare l’accuratezza dei referti e di confrontare quelli prodotti dall’IA con quelli compilati dagli specialisti. Sono stati inoltre considerati il tempo mediamente impiegato nell’identificare gli errori e il rapporto costo efficacia dell’operazione.

Risultati dell’intelligenza artificiale sovrapponibili a quelli degli specialisti

Secondo l’analisi statistica, la performance di GPT-4 rispecchia quella dei radiologi; il tasso di individuazione di errore dell’intelligenza generativa, pari all’82,7%, può dirsi sovrapponibile a quello medio ottenuto dai radiologi, a prescindere dalla loro esperienza.

Dal punto di vista del tempo impiegato per la lettura dei referti esistono ampie differenze a favore dell’IA, con un tempo medio per l’individuazione degli errori, in un referto, pari a 3,5 secondi, contro i 25,1 secondi impiegati in media dagli specialisti.

Anche il rapporto costo-efficacia è a favore di GPT-4, con un costo medio stimato di correzione per report di 0,03 dollari, contro il costo medio di 0,42 associato allo specialista con la migliore perfomance:

Poiché il tasso di individuazione degli errori da parte di GPT-4 è confrontabile con quello degli specialisti, ma associato a costi e tempi inferiori, l’IA, scrivono gli autori dello studio, si presenta come un potenziale strumento a supporto del lavoro di refertazione dei radiologi, e potrebbe contribuire alla riduzione dei costi e dei tempi di lavoro. Tuttavia, considerazioni legali e sulla privacy e un gap prestazionale residuo rispetto ai referti radiologici teoricamente impeccabili sottolineano la continua necessità di supervisione umana nel processo di generazione dei referti