ChatGPT-Immagine Credit Public Domain-
ChatGPT è riuscito a ottenere un punteggio abbastanza buono da diventare un medico autorizzato. Quindi ora è pronto a sostituire i medici?
L’esame di licenza medica (USMLE) è tra gli esami più difficili da sostenere negli Stati Uniti. Questo esame in tre fasi è obbligatorio per tutti gli studenti di medicina e i medici che aspirano a lavorare come medici autorizzati nel paese.
Se gli esseri umani possono diventare medici autorizzati superando questo esame, un’intelligenza artificiale può fare lo stesso?
Bene, a quanto pare, ChatGPT, la sensazionale intelligenza artificiale “chiedimi qualsiasi cosa e ti risponderò come un essere umano” ha superato il test USMLE.
In uno studio pubblicato di recente, un team di ricercatori della startup sanitaria californiana AnsibleHealth ha fatto sostenere a ChatGPT l’esame USMLE in tre fasi. È interessante notare che il popolare modello di linguaggio di grandi dimensioni (LLM) è stato in grado di ottenere un punteggio compreso tra il 52,4 e il 75 percento, che è vicino al punteggio del 60 percento richiesto per superare l’esame. In altre parole, a volte superava gli esami, a volte falliva, ma era sempre vicino a superarli.
Commentando questi risultati, Nello Cristianini, un esperto di intelligenza artificiale dell’Università di Bath che non è stato coinvolto nello studio, ha dichiarato: “Negli Stati Uniti, i medici con un titolo di Dottore in medicina (MD) devono superare l’USMLE per la licenza medica. Per essere promossi, la percentuale minima di precisione richiesta per superare gli esami è del 60% (e la percentuale per la promozione sembra essere ben al di sopra del 90%). Il software chatGPT ha raggiunto una precisione “vicina” che significa inferiore, ma nella maggior parte delle impostazioni era vicina al raggio di soluzione per alcuni compiti.
I ricercatori hanno estratto le domande pubblicamente disponibili dell’esame USMLE del giugno 2022 e hanno eliminato 26 domande basate su immagini. Quindi hanno preparato un test USMLE in tre fasi per ChatGPT comprendente 350 domande in totale. I risultati del test sono stati piuttosto impressionanti.
“Abbiamo scoperto che ChatGPT si è comportato in corrispondenza o in prossimità della soglia di superamento del 60% di precisione. Essendo il primo a raggiungere questo punteggio di riferimento, questo segna una pietra miliare notevole nella maturazione dell’IA. Sorprendentemente, ChatGPT è stato in grado di raggiungere questo risultato senza input specializzati da parte di formatori umani. Inoltre, ChatGPT ha mostrato un ragionamento comprensibile e valide intuizioni cliniche“, osservano gli autori dello studio.
Il modello AI ha fornito nuove informazioni nell’88,9% delle sue risposte e circa il 94% delle risposte che ha fornito erano pertinenti alle domande poste durante l’esame. I ricercatori hanno anche confrontato i suoi risultati con quelli di PubMedGPT, un programma di intelligenza artificiale simile a ChatGPT sviluppato dalla Stanford University esclusivamente per rispondere a domande di carattere medico.
Sebbene PubMedGPT sia stato addestrato e fornito di tutte le informazioni relative alla letteratura biomedica, è stato in grado di ottenere un punteggio solo del 50,8% all’esame USMLE rispetto a ChatGPT che ha ottenuto un punteggio superiore al 52,4%. Questi risultati suggeriscono che in futuro questo modello linguistico potrebbe svolgere un ruolo importante sia nell’educazione medica che nella pratica clinica. “Questa è una prestazione impressionante di ChatGPT e dovremmo aspettarci di vedere altri successi simili nell’IA in futuro. Un avvertimento, tuttavia, è che l’esame di licenza medica degli Stati Uniti è progettato per essere difficile per gli esseri umani, non per le macchine; ci sono molte aree in cui gli esseri umani sono molto più efficaci delle IA (come muoversi in spazi disordinati o interpretare segnali sociali).
“Questa superiorità umana non durerà per sempre, però; un giorno, le IA saranno migliori di noi in quasi tutti i compiti “, ha affermato il Dottor Stuart Armstrong, esperto di intelligenza artificiale e co-fondatore di Aligned AI (non è l’autore dello studio).
Quindi questo significa che ChatGPT è pronto per essere il tuo medico?
Per gli esseri umani, se superano un esame, allora sì, sono qualificati per esercitare una determinata professione o intraprendere un determinato percorso professionale. Ma non è così per l’IA.
L’esame è molto difficile e molti umani lo hanno superato. Ma solo perchè superano esami destinati agli esseri umani, gli algoritmi non possono essere considerati qualificati per lavorare come medici.
Vedi anche:ChatGPT elencato come autore su documenti di ricerca: molti scienziati disapprovano
Ad esempio, un esame medico come USMLE verifica la conoscenza in una persona che è richiesta per esercitare la medicina, ma non verifica attributi come l’empatia, l’atteggiamento premuroso, la capacità di esibirsi sotto pressione, l’umanità, le capacità decisionali, ecc.. Quindi ChatGPT potrebbe avere le conoscenze, ma non è neanche lontanamente in grado di sostituire i medici.
Inoltre, l’intelligenza artificiale non ha alcuna reale comprensione di ciò che sta dicendo. È semplicemente un predittore di testo, che genera contenuto dal suo input. Ma solo perché non ha quello che serve per essere un medico non significa che non possa essere utile. Per cominciare, potrebbe sicuramente aiutare medici e studenti di medicina e far risparmiare loro molto tempo.
Ad esempio, il team di AnsibleHealth ha utilizzato ChatGPT per riscrivere e gestire i propri “rapporti ricchi di terminologie in gergo” in modo che potessero essere facilmente compresi dai pazienti. Ciò ha reso facile la comunicazione del personale con i pazienti. Inoltre, ChatGPT potrebbe anche facilitare agli studenti di medicina la comprensione di argomenti complessi e la preparazione di appunti per gli esami. “Al di là della loro utilità per l’educazione medica, le IA sono ora posizionate per diventare presto onnipresenti nella pratica clinica, con diverse applicazioni in tutti i settori sanitari. Una profusione di studi pragmatici e osservazionali supporta il ruolo versatile dell’IA praticamente in tutte le discipline e specialità mediche, migliorando la valutazione del rischio, la riduzione dei dati, il supporto alle decisioni cliniche, l’efficienza operativa e la comunicazione con il paziente”, hanno affermato gli autori dello studio.
Tuttavia, prima che i responsabili politici introducano un tale modello di intelligenza artificiale nell’educazione medica e nell’assistenza sanitaria, dovranno elaborare regole, regolamenti e infrastrutture adeguati per garantire una sana interazione uomo-IA. Nel frattempo, anche i modelli di intelligenza artificiale devono essere ulteriormente migliorati in modo che possano fornire risultati migliori e più accurati.
Lo studio attuale non è perfetto, ha diverse limitazioni tra cui la piccola dimensione dell’input che i ricercatori hanno usato per testare le prestazioni di ChatGPT. I ricercatori hanno in programma di superare tutti questi limiti nei loro futuri lavori di ricerca incentrati su ChatGPT e AI.
Lo studio è pubblicato sulla rivista PLOS Digital Health.
