I bias cognitivi nei Large Language Models: un'analisi delle distorsioni strutturali

Uno studio dell'Università di Pavia pubblicato su Nature Machine Intelligence solleva interrogativi sulla gestione dei bias cognitivi negli LLM, mentre ricerch…

Contenuto

I bias cognitivi nei Large Language Models: un'analisi delle distorsioni strutturali

Scopri anche

I bias cognitivi nei Large Language Models: un'analisi delle distorsioni strutturali

I bias cognitivi nei Large Language Models: un'analisi delle distorsioni strutturali

In questo articolo:

I Large Language Models (LLM) che stanno alla base di molti sistemi di intelligenza artificiale generativa si nutrono di dati e testi che non incorporano solo stereotipi sociali, ma anche bias cognitivi: schemi di ragionamento che caratterizzano il modo in cui gli esseri umani percepiscono il mondo. È la constatazione da cui prende avvio un contributo pubblicato su Nature Machine Intelligence, nato dalla collaborazione tra il Dipartimento di scienze del sistema nervoso e del comportamento dell'Università di Pavia e l'Università degli Studi di Milano-Bicocca, con i ricercatori Vittoria Dentella, Luca Rinaldi e Marco Marelli.

L'articolo propone una riflessione critica su un tema sempre più centrale nel dibattito scientifico: ridurre i bias cognitivi nei modelli di linguaggio è davvero desiderabile? Negli ultimi anni, l'attenzione della comunità scientifica si è concentrata soprattutto sulla necessità di individuare e correggere i bias sociali presenti nei sistemi di IA (quali stereotipi di genere e culturali), con l'obiettivo di limitare la riproduzione di disuguaglianze e discriminazioni. Più recentemente, però, è emerso che anche i bias cognitivi sono rintracciabili negli LLM. Poiché questi modelli apprendono dai pattern statistici del linguaggio, finiscono per assorbire non solo contenuti e associazioni socialmente diffuse, ma anche modalità ricorrenti del ragionamento umano.

La funzione adattiva dei bias cognitivi

⬆ Torna su

Il punto sollevato dall'articolo è che, a differenza dei bias sociali, i bias cognitivi non possono essere considerati semplicemente come errori da eliminare. Pur rappresentando spesso deviazioni rispetto a modelli di razionalità formale, essi possono svolgere anche una funzione adattiva, aiutando gli individui a orientarsi in situazioni complesse, incerte o fortemente dipendenti dal contesto. Ciò che appare come una distorsione logica può talvolta riflettere una forma di ragionamento pratica e funzionale.

Da qui nasce una questione: un modello con meno bias cognitivi è davvero un decisore migliore? Secondo gli autori, la risposta non è scontata. L'idea che la mitigazione dei bias produca sistemi più razionali, oggettivi e neutrali poggia su presupposti controversi. Eliminare un bias non significa automaticamente rendere una decisione neutrale: al contrario, intervenire su questi meccanismi implica spesso una scelta normativa su quale forma di ragionamento debba essere privilegiata e su quali esiti siano da considerarsi preferibili. Stabilire quali bias mantenere, attenuare o correggere nei modelli di IA non è una questione puramente tecnica, ma significa decidere quali modi di valutare il mondo e di prendere decisioni debbano essere incorporati nelle tecnologie che utilizziamo ogni giorno.

La mappa dei fallimenti del ragionamento

⬆ Torna su

Un gruppo di ricercatori di Caltech, Stanford e Carleton College ha affrontato la questione in modo sistematico, con uno studio dal titolo "Large Language Model Reasoning Failures". Gli studiosi hanno distinto diversi tipi di fallimenti del ragionamento, costruendo una mappa delle fragilità. Da un lato ci sono errori fondamentali, legati all'architettura stessa di questi sistemi. Dall'altro, problemi specifici di un ambito: un modello può funzionare bene in generale ma mostrare lacune in biologia, in diritto o nella comprensione dello spazio fisico.

C'è poi una terza categoria, quella della robustezza: basta cambiare leggermente la formulazione di una domanda per ottenere risposte incoerenti, pur restando identico il significato. Quando una fragilità si ripete in contesti diversi, non è più un incidente, ma una caratteristica strutturale. Lo studio evidenzia che molti errori dei modelli assomigliano sorprendentemente a quelli umani: limitazioni di memoria di lavoro, difficoltà a inibire risposte automatiche, tendenza a lasciarsi influenzare dall'ordine in cui le informazioni sono presentate, effetto ancoraggio, bias di conferma.

L'IA non solo sbaglia: eredita e talvolta amplifica distorsioni cognitive già presenti nel linguaggio umano. I modelli sono addestrati su testi prodotti da esseri umani, e persino i processi di allineamento coinvolgono valutatori umani. Non possiamo quindi immaginare l'IA come uno specchio neutro: è immersa nel nostro stesso ecosistema cognitivo.

L'assenza di esperienza incarnata

⬆ Torna su

C'è un limite radicale: l'assenza di esperienza incarnata. I modelli apprendono dal testo e, in parte, dalle immagini, ma non fanno esperienza diretta del mondo. Non sentono il peso di un oggetto, non sperimentano la gravità, non agiscono in uno spazio tridimensionale reale. Possono descrivere il mondo, ma non lo abitano. Questo aiuta a capire perché il linguaggio fluente non coincide automaticamente con una comprensione causale profonda e spiega molte delle fragilità che emergono quando si chiede a questi sistemi di ragionare su situazioni fisiche concrete.

Questi modelli non sono progettati per applicare regole logiche, ma per prevedere la parola successiva più probabile. Questo obiettivo funziona quando serve produrre testo coerente, ma può generare fragilità quando è richiesta logica formale, memoria stabile o controllo rigoroso delle regole. Tendono a preferire schemi linguistici familiari alla logica rigorosa, possono dimenticare istruzioni importanti in contesti lunghi, faticano a inibire risposte automatiche quando il contesto richiede un cambio di regola.

La confabulazione coerente e l'ancoraggio al consenso

⬆ Torna su

L'impatto dell'intelligenza artificiale sull'analisi geopolitica non consiste nell'automazione di compiti esistenti, ma in una discontinuità epistemologica che ridefinisce il significato stesso del comprendere le dinamiche internazionali. I modelli linguistici di grandi dimensioni non sono strumenti, bensì interlocutori cognitivi con caratteristiche radicalmente diverse da quelle dell'intelligenza umana: possiedono un'ampiezza priva di profondità selettiva, hanno letto più di qualsiasi analista, ma non hanno scelto cosa approfondire. Riconoscono configurazioni senza possedere una teoria, producono coerenza senza nutrire alcuna convinzione.

La confabulazione coerente produce analisi internamente consistenti, perfettamente plausibili ma del tutto false. Le tecniche come la generazione aumentata dal recupero documentale riducono il fenomeno ma non lo eliminano: gli studi mostrano una persistenza significativa anche quando il sistema ha accesso a fonti verificate. L'ancoraggio al consenso fa sì che i modelli tendano a riprodurre, raffinandole, le conclusioni dominanti. L'analisi capace di anticipare le discontinuità risulta strutturalmente penalizzata.

C'è poi il problema della falsa precisione: un'affermazione come "70% di probabilità di escalation" non significa nulla di definito, ma appare precisa. In questo modo, il decisore riceve un rinforzo per una preferenza cognitiva che può rivelarsi dannosa. A ciò si aggiunge l'asimmetria della verificabilità: le affermazioni più facili da verificare (fatti, date, nomi) sono quelle meno critiche; le più critiche (valutazioni delle intenzioni e previsioni) non sono verificabili prima che gli eventi si compiano.

La percezione imprenditoriale del bias algoritmico

⬆ Torna su

Un'indagine qualitativa condotta tra imprenditori italiani attivi nello sviluppo di soluzioni IA evidenzia come i bias vengano percepiti attraverso due principali punti di vista: uno tecnico, focalizzato sui dati e sugli algoritmi, e uno sociale, legato a valori, norme e pratiche organizzative. L'analisi ha permesso di cogliere la varietà di esperienze e la complessità delle sfide affrontate, evidenziando come il bias non sia un problema esclusivamente tecnico, ma un fenomeno sociotecnico profondamente radicato nei contesti decisionali.

La prima interpretazione, maggiormente diffusa, attribuisce la presenza di bias a cause di natura tecnica, legate principalmente ai dati utilizzati per addestrare gli algoritmi, alla qualità dei modelli e alla progettazione delle funzionalità IA. Un intervistato ha evidenziato che il dataset rappresenta la componente più critica nella prevenzione dei bias: spesso ci si accorge solo in fase di test che mancano categorie o profili fondamentali. Per certi clienti, i dati disponibili sono troppo pochi o troppo simili: il sistema finisce per imparare da un'unica prospettiva.

Una seconda interpretazione, meno comune ma concettualmente più matura, riconosce che i sistemi di IA riflettono valori, norme e assunzioni sociali incorporati nei dati o nei processi organizzativi. Un intervistato ha osservato che l'algoritmo è imparziale solo in apparenza, perché dietro c'è sempre una decisione umana su cosa considerare normale o desiderabile. Chi scrive l'algoritmo ha un impatto enorme: porta dentro il proprio modo di vedere il mondo, spesso senza accorgersene.

La matrice dei bias organizzativi

⬆ Torna su

Sulla base dei risultati emersi dall'analisi qualitativa, è stato sviluppato un framework concettuale che consente di interpretare e categorizzare i bias dell'IA in relazione al loro tipo e al livello decisionale in cui si manifestano. La matrice a quattro quadranti incrocia due dimensioni: il tipo di bias (computazionale o sociale) e il livello decisionale (operativo o strategico).

Nel quadrante del bias computazionale a livello operativo, il più frequentemente menzionato, si trovano errori o distorsioni dovuti a dataset incompleti, algoritmi opachi o modelli mal calibrati che influenzano le attività quotidiane. Nel quadrante del bias computazionale a livello strategico, meno visibile ma altamente impattante, i parametri computazionali guidano scelte che possono indirizzare l'impresa verso direzioni non previste o eticamente discutibili.

Il quadrante del bias sociale a livello operativo riguarda pratiche quotidiane che incorporano stereotipi o pregiudizi non consapevoli, spesso trasferiti nei processi automatizzati. Un esempio è un algoritmo di screening dei CV che perpetua preferenze implicite presenti nei dati storici dell'azienda. Il quadrante del bias sociale a livello strategico è il più trascurato ma potenzialmente il più critico: riguarda i valori e le assunzioni profonde che guidano la progettazione stessa delle soluzioni IA.

Gli errori sistematici nell'informazione

⬆ Torna su

Secondo un nuovo studio dell'Unione europea di radiodiffusione (EBU), quasi una risposta su tre fornita dagli assistenti IA contiene errori. L'IA presenta spesso piani o annunci come se fossero eventi già avvenuti, inventa dettagli e fornisce risposte rudimentali, talvolta fuorvianti. Una risposta su cinque è imprecisa. Questi errori sono sistemici e si verificano indipendentemente dalla lingua, dal Paese o dal tipo di IA.

Dato che, secondo l'indagine, il 15% dei giovani sotto i 25 anni si informa tramite assistenti basati su IA, questo dato è significativo. Informazioni false, fuorvianti o imprecise minano la fiducia delle persone e possono compromettere la partecipazione democratica. Gli assistenti basati su intelligenza artificiale sono stati addestrati con enormi quantità di testi e imparano come funziona il linguaggio umano. Tuttavia, non comprendono ciò che scrivono e non sanno distinguere tra vero e falso: calcolano semplicemente quale parola è più probabile che segua quella precedente. Le affermazioni di un assistente IA sono quindi probabilità, non fatti verificati.

Questo comporta una doppia difficoltà quando si tratta di attualità: da un lato gli eventi nuovi di solito non sono presenti nei dati di addestramento, proprio perché sono nuovi; dall'altro, ciò che è inaspettato, ovvero ciò di cui parlano le notizie, contraddice la logica statistica di questi modelli. Finché i sistemi funzioneranno secondo questo principio, gli errori non scompariranno del tutto.

I rischi per l'integrità accademica

⬆ Torna su

L'uso di ChatGPT per la stesura di tesi di laurea presenta rischi specifici. I testi creati da questi sistemi non sono ancora affidabili al cento per cento e contengono spesso errori più o meno evidenti. Anche quando le informazioni fornite dall'intelligenza artificiale sono corrette, se un testo di ChatGPT viene inserito nella tesi, può essere identificato dalle università grazie ai nuovi software antiplagio. Le università italiane trattano l'uso di ChatGPT nella tesi come plagio e la laurea può essere annullata.

Le risposte che i modelli attuali possono dare hanno un limite di circa 4000 caratteri o 500 parole. Per realizzare una tesi completa è necessario incollare tra loro tante risposte diverse, che potrebbero però non continuare lo stesso discorso o cambiare stile. Inoltre, l'IA è allenata su dati raccolti in passato: se l'argomento della tesi è legato alla cronaca attuale, alle ultime scoperte scientifiche o a fatti sociali avvenuti negli ultimi mesi, ChatGPT non conosce queste cose ma probabilmente risponderà lo stesso come se sapesse di cosa sta parlando.

Dal 2024 i software antiplagio usati dalle università hanno sviluppato un nuovo algoritmo in grado di verificare un testo e indicare con buona percentuale se sia stato scritto da una IA. I pattern tipici di un testo scritto da una IA includono la ripetizione di parole come "in particolare", "inoltre", "in sintesi" e la frammentazione del discorso in frasi di tre o quattro righe prima di andare a capo e fare molti elenchi puntati.

Implicazioni per la governance dell'IA

⬆ Torna su

Il contributo pubblicato su Nature Machine Intelligence invita la comunità scientifica ad aprire una discussione più ampia e rigorosa sul significato stesso della mitigazione dei bias cognitivi negli LLM. Prima ancora di sviluppare strumenti per ridurli, sostengono gli autori, è necessario chiarire quale sia l'obiettivo finale di questo processo e su quali basi epistemologiche ed etiche esso debba poggiare. In un momento in cui gli LLM sono sempre più presenti nel quotidiano, dalla produzione e trasmissione della conoscenza ai processi decisionali automatizzati, comprendere la natura dei bias che li attraversano diventa essenziale.

Il messaggio centrale del lavoro è che rendere gli LLM meno simili al ragionamento umano non significa necessariamente renderli più giusti, più neutrali o più affidabili. Lo studio di Caltech, Stanford e Carleton College arriva a una conclusione analoga: questi sistemi non "pensano" nel senso umano del termine. Producono testo attraverso una sofisticata orchestrazione di probabilità. Ed è proprio questa natura probabilistica a renderli, insieme, potenti e fragili.

La sfida non è anzitutto tecnica, ma antropologica. Riguarda ciò che nessun modello linguistico può sostituire: la capacità di leggere contesti e relazioni, la cura delle parole, l'ascolto, la fiducia, la responsabilità verso le persone. Capire che certi errori dell'IA non sono bug temporanei, ma tratti strutturali, restituisce lucidità e ricorda dove gli esseri umani sono insostituibili: non per nostalgia, ma per natura.

Questo articolo è una sintesi basata esclusivamente sulle fonti elencate.

Implicazioni e scenari

⬆ Torna su

La distinzione tra bias cognitivi e bias sociali solleva interrogativi sulla strategia di mitigazione: se alcune distorsioni svolgono una funzione adattiva, la loro rimozione potrebbe compromettere la capacità dei sistemi di gestire situazioni incerte o fortemente contestualizzate.

  • Scenario 1: Persistenza selettiva di bias cognitivi considerati funzionali, con sviluppo di framework normativi per stabilire quali distorsioni mantenere e quali correggere.
  • Scenario 2: Emergenza di confabulazioni coerenti in contesti decisionali critici, con rischio di valutazioni plausibili ma non verificabili prima che gli eventi si compiano.
  • Scenario 3: Crescente divario tra percezione tecnica del bias da parte degli sviluppatori e comprensione delle implicazioni sociotecniche nei contesti organizzativi.

Cosa monitorare

⬆ Torna su
  • Evoluzione dei criteri per distinguere bias cognitivi adattivi da distorsioni dannose.
  • Impatto dell'assenza di esperienza incarnata su compiti che richiedono comprensione causale profonda.
  • Sviluppo di metodologie per ridurre l'ancoraggio al consenso senza sacrificare l'affidabilità delle risposte.

Nota editoriale: questa sezione propone una lettura analitica dei temi trattati, senza introdurre dati fattuali non presenti nelle fonti.

Fonti

⬆ Torna su

In breve

  • ai
  • llm
  • chatgpt
  • reasoning

Link utili

Apri l'articolo su DeafNews