ChatGPT-Immagine Credit Public Domain-
Uno studio pubblicato sul Journal of The National Cancer Institute Cancer Spectrum ha esaminato i chatbot e l’intelligenza artificiale (AI), mentre diventano risorse popolari per le informazioni sul cancro. Hanno scoperto che queste risorse forniscono informazioni accurate su miti e idee sbagliate comuni sul cancro. Nel primo studio di questo tipo, Skyler Johnson, MD, medico-scienziato presso l’Huntsman Cancer Institute e assistente Professore nel dipartimento di oncologia delle radiazioni presso l’Università dello Utah (U), ha valutato l’affidabilità e l’accuratezza delle informazioni sul cancro offerte da ChatGPT.
Utilizzando i miti e le idee sbagliate comuni del National Cancer Institute (NCI) sul cancro, Johnson e il suo team hanno scoperto che il 97% delle risposte di ChatGPT erano corrette. Tuttavia, questa scoperta comporta alcuni importanti avvertimenti, inclusa la preoccupazione del team che alcune delle risposte di ChatGPT possano essere interpretate in modo errato. “Questo potrebbe portare ad alcune decisioni sbagliate da parte dei malati di cancro. Il team ha suggerito cautela nel consigliare ai pazienti di utilizzare i chatbot per informazioni sul cancro“, afferma Johnson.
Lo studio ha rilevato che i revisori non sapevano se le risposte provenissero dal chatbot o dall’NCI. Sebbene le risposte fossero accurate, i revisori hanno scoperto che il linguaggio di ChatGPT era indiretto, vago e, in alcuni casi, poco chiaro.
Spiegano gli autori:
“I pazienti si rivolgono sempre più a Internet per informazioni sul cancro, con l’80% degli adulti statunitensi che, secondo quanto riferito, utilizzano Internet per cercare informazioni sulla salute. Nell’ambiente della comunicazione online, la disinformazione sul cancro e le informazioni dannose rimangono una seria preoccupazione. I chatbot e altri sistemi di intelligenza artificiale (AI) sono diventati sempre più popolari negli ultimi anni per fornire informazioni e assistenza agli utenti negli spazi online; recentemente, uno di questi sistemi di intelligenza artificiale che riceve molta attenzione da parte del pubblico e delle notizie è ChatGPT, che utilizza l’elaborazione del linguaggio naturale per generare risposte all’input dell’utente. Data l’importanza di informazioni accurate nel campo della ricerca e del trattamento del cancro, determinare l’accuratezza delle (errate) informazioni fornite dall’IA da piattaforme di chat come ChatGPT è fondamentale per i medici e, più in generale, per i comunicatori sanitari e medici. Come primo passo nel monitoraggio di queste piattaforme pubbliche, ci siamo impegnati in uno studio su piccola scala delle informazioni generate da ChatGPT.
Utilizzando la pagina web del National Cancer Institute (NCI) “Common Cancer Myths and Misconceptions”, il 20 dicembre 2022, abbiamo posto a ChatGPT 13 domande sul cancro che sono punti comuni di confusione tra gli pubblico (secondo NSC). Le risposte in cieco dell’NCI e di ChatGPT a ciascuna domanda sono state valutate per l’accuratezza in base alla conoscenza consolidata di 5 revisori scientifici con esperienza nel trattamento del cancro e nella disinformazione del cancro (BK, CB, AK, EW e SA) tra il 20 dicembre, 2022 e 3 gennaio 2023. Le valutazioni di accuratezza (sì vs no) sono state valutate in modo indipendente per ciascuna domanda e quindi confrontate tra le risposte in cieco NCI e ChatGPT. L’accordo tra gli interlocutori è stato valutato da Fleiss ĸ. Le analisi statistiche sono state eseguite utilizzando Stata, versione 17 (StataCorp LP).
A seguito della revisione da parte di esperti, 13 delle 13 risposte NCI sono state valutate come accurate da 5 revisori esperti su 5, dimostrando un accordo interintermediario del 100%. Gli output di ChatGPT sono stati determinati come accurati da 5 revisori su 5 per 11 domande su 13, dimostrando un accordo complessivo del 96,9%. Le restanti 2 domande (domanda 5, “Il mio atteggiamento, positivo o negativo, determina il mio rischio di contrarre o sopravvivere al cancro?” e domanda 9, “Le linee elettriche causano il cancro?”) sono state valutate come accurate da 4 revisori su 5, con un singolo revisore unico che valuta ogni domanda come imprecisa (ĸ = ‒0.03, SE = 0.08, P = .6). C’erano poche differenze evidenti nel numero di parole o nella leggibilità delle risposte da NCI o ChatGPT. Le risposte da entrambe le fonti sono state scritte a un ritmo meno leggibile di quanto probabilmente sarebbe raccomandato dai sostenitori dell’alfabetizzazione sanitaria, ad esempio. Sebbene il nostro team non abbia codificato per caratteristiche specifiche del messaggio, più osservatori hanno notato la loro percezione che i messaggi ChatGPT spesso utilizzassero termini associati a copertura e incertezza che potrebbero portare all’adozione di una convinzione o pratica che potrebbe essere dannosa. Complessivamente, i risultati suggeriscono che l’output di ChatGPT fornisce informazioni accurate su miti e idee sbagliate comuni sul cancro senza fornire informazioni errate o dannose per gli utenti. Per valutare se domande ripetute potessero portare a risultati con variazioni semantiche che potrebbero portare a disinformazione, abbiamo completato ripetutamente 5 esecuzioni dallo stesso input per ciascuna delle 13 domande. Alla revisione, sebbene siano stati notati sottili cambiamenti nella struttura della frase, le risposte sono rimaste coerenti, suggerendo che le risposte rimangono accurate con domande ripetitive”.
Vedi anche: ChatGPT: plagio oltre il semplice copia e incolla?
“Riconosco e capisco quanto possa essere difficile per i malati di cancro e gli operatori sanitari accedere a informazioni accurate “, afferma Johnson. “Queste fonti devono essere studiate in modo da poter aiutare i malati di cancro a navigare nelle acque torbide che esistono nell’ambiente delle informazioni online mentre cercano risposte sulle loro diagnosi”.
Informazioni errate possono danneggiare i malati di cancro. In un precedente studio di Johnson e del suo team pubblicato sul Journal of National Cancer Institute, i ricercatori hanno scoperto che la disinformazione era comune sui social media e aveva il potenziale per danneggiare i malati di cancro.
I prossimi passi sono valutare la frequenza con cui i pazienti utilizzano i chatbot per cercare informazioni sul cancro, quali domande stanno ponendo e se i chatbot di intelligenza artificiale forniscono risposte accurate a domande non comuni o insolite sul cancro.
Fonte: JNCI Cancer Spectrum
