Il limite del ragionamento nei modelli linguistici: evidenze e prospettive

Analisi delle capacità di ragionamento dei Large Language Model tra risultati matematici, limiti strutturali e nuove direzioni di ricerca

Contenuto

Il limite del ragionamento nei modelli linguistici: evidenze e prospettive

Scopri anche

Il limite del ragionamento nei modelli linguistici: evidenze e prospettive

Il limite del ragionamento nei modelli linguistici: evidenze e prospettive

In questo articolo:

L'iniziativa DARPA per la matematica computazionale

⬆ Torna su La Defense Advanced Research Projects Agency degli Stati Uniti ha avviato ad aprile un programma chiamato expMath (Exponentiating Mathematics) con l'obiettivo di accelerare i progressi nel campo della matematica. Secondo Patrick Shafto, responsabile del programma DARPA, la matematica moderna viene svolta con metodi tradizionali nonostante il suo impatto cruciale in settori come l'informatica, la medicina e la sicurezza nazionale. L'iniziativa punta a sviluppare un coautore dell'intelligenza artificiale in grado di suddividere problemi matematici complessi in sotto-problemi più semplici da risolvere. Questo approccio rappresenta un'evoluzione rispetto all'uso tradizionale dei computer in matematica, che si limitava principalmente all'accelerazione dei calcoli o alla verifica di asserti matematici.

Dai problemi scolastici alle Olimpiadi della matematica

⬆ Torna su Esiste un divario significativo tra le capacità matematiche dei modelli attuali. Da un lato, l'ultima generazione di LLM ha padroneggiato la matematica a livello scolastico, mentre dall'altro si stanno esplorando strumenti che potrebbero affrontare problemi di ricerca complessi. Alcuni modelli di ragionamento di grandi dimensioni (LRM) come o3 di OpenAI e Claude 4 Thinking di Anthropic hanno dimostrato capacità migliorate. Quest'anno, diversi LRM hanno ottenuto punteggi elevati all'American Invitational Mathematics Examination, un test riservato al 5% dei migliori studenti di matematica delle scuole superiori statunitensi.

Risultati promettenti e limiti evidenti

⬆ Torna su AlphaProof di Google DeepMind, un sistema che combina un LLM con il modello di gioco AlphaZero, ha segnato una pietra miliare importante. Il programma è stato il primo a eguagliare le prestazioni di un vincitore di medaglia d'argento alle Olimpiadi Internazionali di Matematica. A maggio, AlphaEvolve di Google DeepMind ha scoperto risultati migliori di quelli umani per oltre 50 enigmi matematici irrisolti e problemi informatici reali. Tuttavia, come osserva Emily de Oliveira Santos dell'Università di San Paolo, i problemi delle Olimpiadi richiedono "trucci intelligenti", mentre i problemi di ricerca sono più esplorativi e complessi.

Il plateau delle prestazioni e la legge dei rendimenti decrescenti

⬆ Torna su Dai laboratori della Silicon Valley emergono segnali di un possibile plateau nelle prestazioni dei modelli. Nonostante investimenti crescenti, i nuovi modelli non mostrano i miglioramenti attesi rispetto alle versioni precedenti. Il problema è duplice: da un lato, le aziende hanno quasi esaurito i testi di alta qualità prodotti dagli esseri umani per l'addestramento; dall'altro, l'uso di dati sintetici rischia di causare un "collasso del modello" per degradazione progressiva della qualità. Si manifesta così la legge dei rendimenti decrescenti, dove investimenti uguali producono miglioramenti minori.

La transizione dalla conoscenza al ragionamento

⬆ Torna su La frontiera si sta spostando dall'accumulo di conoscenza allo sviluppo del ragionamento. Se non è possibile aggiungere nuovi dati di addestramento, si può lavorare sul miglioramento delle capacità di elaborazione. Questa transizione implica il passaggio da modelli che rispondono d'istinto a modelli che utilizzano il "System 2 thinking", prendendo tempo per riflettere prima di rispondere. L'obiettivo è trasformare l'IA da "pappagallo stocastico" a risolutore di problemi complessi.

Le evidenze sui limiti del ragionamento formale

⬆ Torna su Recenti ricerche, inclusa una condotta da Apple, testano le capacità di ragionamento di modelli come ChatGPT, Claude e DeepSeek. I risultati indicano che questi sistemi falliscono quando la complessità aumenta, non dimostrando un vero ragionamento formale. I modelli tendono a "riflettere troppo" su problemi semplici e ad abbandonare prematamente quelli complessi, anche quando dispongono di risorse computazionali sufficienti. Emerge una distinzione fondamentale: eseguire non significa comprendere.

Il problema delle catene di pensiero

⬆ Torna su Le cosiddette "catene di pensiero" (CoT) generate dai LLM non sempre corrispondono al reale processo di ragionamento. Anche quando le tracce appaiono corrette, le risposte finali possono essere errate. La ricerca evidenzia che i modelli di ragionamento basati su inference-time computing presentano limiti strutturali. Come dimostrato con il modello o1 di OpenAI, questi sistemi soffrono di problemi fondamentali nell'estrapolazione al di fuori dei dati di addestramento.

Nuove direzioni di ricerca

⬆ Torna su Alcuni pionieri del settore stanno esplorando paradigmi alternativi agli LLM. Ilya Sutskever, co-fondatore di OpenAI, ha creato SSI (Safe Superintelligence) puntando su architetture diverse. Yann LeCun, ex-capo dell'AI di Meta, lavora su modelli che apprendono attraverso concetti fisici e logici piuttosto che tramite il linguaggio. Parallelamente, crescono gli investimenti in applicazioni agentiche che spostano l'focus dai chatbot che "dicono cose" agli agenti che "fanno cose", come dimostrano strumenti quali Claude Code e Claude Cowork.

Questo articolo è stato redatto esclusivamente sulla base delle fonti elencate, senza aggiunte speculative o informazioni esterne.

Fonti

⬆ Torna su

In breve

  • llm
  • modelli
  • matematica
  • darpa

Link utili

Apri l'articolo su DeafNews