Chatbot AI in Sanità: Tra Innovazione e Rischi per i Pazienti

Una ricerca controllata condotta dall'Università di Oxford e pubblicata su Nature Medicine ha dimostrato che i chatbot AI falliscono miseramente nelle diagnosi mediche quando interagiscono con pazienti reali. Mentre in contesti teorici, come domande da esame, i modelli linguistici diagnosticano correttamente le patologie nel 95% dei casi, nel mondo reale il tasso di successo crolla sotto il 35%. Lo studio, che ha coinvolto oltre mille partecipanti britannici testando ChatGPT, Llama e Command R+ di Cohere, ha evidenziato come le persone comuni non sappiano descrivere i propri sintomi in termini medici precisi, un gap che i chatbot, prendendo tutto alla lettera, non sono in grado di colmare. La differenza fondamentale tra un chatbot e un medico risiede nelle sfumature: il dottore sa quali domande fare, intuisce quando un paziente minimizza o esagera i sintomi e riconosce segnali d'allarme non verbalizzati.

L'Inaffidabilità nelle Situazioni Critiche e i Casi Documentati

⬆ Torna su

I ricercatori di Oxford hanno documentato casi da brivido. Due persone con sintomi quasi identici di emorragia subaracnoidea, una condizione grave che richiede intervento immediato, hanno ricevuto indicazioni opposte dallo stesso chatbot. Altri modelli hanno fornito numeri di telefono parziali di servizi americani a utenti britannici o suggerito di chiamare l'emergenza australiana. Alcuni si sono concentrati su dettagli irrilevanti, ignorando i segnali d'allarme più evidenti. La dottoressa Rebecca Payne, coordinatrice medica dello studio, ha affermato senza mezzi termini che consultare un modello linguistico sui propri sintomi può essere pericoloso. I ricercatori concludono che nessuno dei modelli testati è pronto per l'impiego nell'assistenza diretta al paziente, raccomandando test rigorosi con utenti reali prima del lancio commerciale.

Il Quadro Normativo: Dispositivi Medici e Requisiti di Approvazione

⬆ Torna su

Per poter essere utilizzati in ambito sanitario nella maggior parte dei casi d'uso, la normativa prevede che i chatbot siano approvati come dispositivi medici. L'approvazione richiede una solida base scientifica e un'elevata precisione nella valutazione di sintomi, diagnosi e raccomandazioni di trattamento. Il software che esegue qualcosa di più delle semplici funzioni di database per assistere nella diagnosi, prevenzione, monitoraggio, prognosi o trattamento è classificato come dispositivo medico e soggetto a controlli normativi. Questi includono lo sviluppo in un sistema di gestione della qualità, la sorveglianza post-commercializzazione e il follow-up clinico. Attualmente, gli LLM trascurano il fatto che le informazioni mancanti siano necessarie per una risposta accurata, non forniscono indicazioni sulla certezza e spesso inventano citazioni inesistenti.

Limiti Intrinseci e la Questione della Comprensione Reale

⬆ Torna su

I Large Language Models producono una "continuazione ragionevole" del testo basata sull'analisi di miliardi di pagine web e libri generici. Il loro sviluppo include apprendimento per tentativi ed errori per ottimizzare plausibilità e ragionevolezza. Tuttavia, non c'è modo di essere certi della qualità, del livello di evidenza o della coerenza delle informazioni cliniche alla base delle loro risposte. I LLM semplicemente riassemblano ciò che è stato scritto più comunemente dagli esseri umani. La comunità scientifica deve ancora fornire test definitivi che dimostrino in modo coerente i loro limiti, evitando di attribuire ai chatbot caratteristiche umane per condurre valutazioni oggettive. La tendenza a generare affermazioni convincenti ma sbagliate o informazioni fittizie è intrinseca alla tecnologia.

Esempi di Chatbot Sanitari e Loro Applicazioni Pratiche

⬆ Torna su

Nonostante i limiti, sono stati sviluppati chatbot specializzati che operano in ambiti controllati. OneRemission, un'app oncologica costruita su Botpress, offre supporto su alimentazione, esercizio e gestione dello stress per pazienti oncologici, con la possibilità di consultare un oncologo 24/7 per questioni urgenti. SafedrugBot, un chatbot Telegram, assiste i professionisti della salute fornendo dati accurati su principi attivi, dosaggi e alternative farmacologiche. Buow, sviluppato ad Harvard, aiuta a navigare il sistema sanitario e a connettere le persone con le cure appropriate basandosi sui sintomi. Youper, clinicamente efficace per Stanford, è un chatbot di salute mentale basato sulla terapia cognitivo-comportamentale che aiuta a gestire ansia e depressione.

Best Practices per lo Sviluppo e l'Implementazione

⬆ Torna su

La documentazione indica che i chatbot sanitari devono essere specificamente addestrati e non dovrebbero basarsi su modelli generici come ChatGPT. L'uso di agenti LLM personalizzati con Retrieval-Augmented Generation (RAG) può essere una soluzione benefica e scalabile. È fondamentale definire obiettivi chiari, come la gestione di appuntamenti, promemoria per prescrizioni o triage dei pazienti. Le migliori pratiche includono l'integrazione con sistemi esistenti come le cartelle cliniche elettroniche, la progettazione di workflow conversazionali accurati e test rigorosi. La piattaforma ideale dovrebbe offrire sicurezza robusta, conformità normativa e supporto per l'integrazione. Il monitoraggio post-lancio attraverso metriche come l'accuratezza delle risposte e la soddisfazione dei pazienti è essenziale per miglioramenti continui.

La Posizione delle Autorità e la Responsabilità degli Sviluppatori

⬆ Torna su

La Food and Drug Administration statunitense e le autorità nazionali competenti dell'UE hanno agito per fermare organizzazioni che fornivano consulenze mediche attraverso dispositivi non convalidati. Le esclusioni di responsabilità che definiscono uno strumento come "sperimentale" non impediscono l'applicazione delle leggi sui dispositivi medici. Tali esperimenti dovrebbero essere condotti solo in ambienti clinici autorizzati. Esiste un accordo internazionale sui principi chiave per l'AI in sanità: trasparenza, equità, responsabilità, validazione e protezione dei dati. Gli attuali chatbot LLM, incluso ChatGPT, non soddisfano ancora questi principi. Gli sviluppatori che intendono perseguire uno scopo medico devono applicare sistemi di gestione della qualità il prima possibile e considerare approcci come limitare il corpus di addestramento a testi medici controllati.

Il Ruolo Complementare e le Prospettive Future

⬆ Torna su

L'opinione degli esperti, come espressa dal Presidente della FNOMCeO Filippo Anelli, è che l'intelligenza artificiale e la telemedicina non dovrebbero diventare un'alternativa al medico, ma un supporto essenziale. Algorithmi ben costruiti possono essere strumenti fondamentali per aumentare la precisione di diagnosi e terapia. L'accesso diretto del paziente attraverso applicazioni può favorire il "patient digital empowerment", una partecipazione attiva e responsabile al processo di cura. Tuttavia, si rischia una medicalizzazione della vita quotidiana con un carico di ansia ed eccesso di diagnosi non motivate. La partecipazione pubblica, dei pazienti e dei professionisti nella progettazione della sanità digitale è ritenuta fondamentale per determinare priorità e co-progettare soluzioni utili.

Questo articolo è stato redatto esclusivamente sulla base delle fonti elencate, senza aggiunte speculative o informazioni esterne.

Fonti

⬆ Torna su

• https://www.punto-informatico.it/chatbot-ai-giocano-dottore-uccidono-pazienti/
• https://botpress.com/blog/top-health-chatbots
• https://www.healthtech360.it/salute-digitale/intelligenza-artificiale/chatgpt-come-dispositivo-medico/
• https://portale.fnomceo.it/dottore-ma-e-vero-che-lintelligenza-artificiale-rendera-inutile-il-medico/