Scopri anche

• Architettura dell'informazione AI-first: oltre l'interfaccia conversazionale
• AMD Prevede Crescita del Ricavo Grazie all'Aumento della Produzione di CPU per Server
• AMD: strategia AI e crescita nel data center nel 2026
• ChatGPT: Funzionamento, Capacità e Sviluppo del Modello Linguistico di OpenAI
• AI Agentica: Caratteristiche Tecniche e Applicazioni Aziendali
• ChatGPT: Guida Tecnica all'Utilizzo del Chatbot AI di OpenAI
• Sviluppo dell'Infrastruttura AI in Africa: Investimenti, Sfide e Opportunità
• SK Hynix accelera l'apertura di nuovi impianti per rispondere alla domanda di chip memory per AI
• SynthSmith: addestramento AI con dati sintetici e nuove architetture chip
• Microsoft Azure già pronta per NVIDIA Rubin: infrastruttura progettata anni prima
• Prince of Persia: l'innovazione del rotoscoping e le sfide tecniche dello sviluppo
• Pregiudizi politici nei modelli linguistici: come il training influenza ChatGPT e gli altri LLM
• Limiti e progressi del ragionamento nei modelli linguistici: tra matematica e sistemi avanzati
• AMD RDNA 5: primo supporto LLVM per GFX13 conferma sviluppo architettura
• AMD e l'Era dello Yottascale: Come l'AI Guida la Trasformazione del Compute nel 2026
• Il limite del ragionamento nei modelli linguistici: evidenze e prospettive
• Motivair lancia MCDU-70, unità di raffreddamento da 2,5 MW per data center AI
• Architettura NVIDIA Rubin: Come il Networking Definisce le Performance AI
• AMD: la transizione strategica verso la leadership AI e data center
• Sicurezza dell'Intelligenza Artificiale: Rischi e Strategie di Mitigazione

DeepSeek: Architettura Transformer e Ottimizzazione GPU con Memoria Condizionale

DeepSeek: Architettura Transformer e Ottimizzazione GPU con Memoria Condizionale

Il problema dello spreco computazionale nei Transformer

⬆ Torna su Quando un LLM aziendale recupera un nome di prodotto, una specifica tecnica o una clausola contrattuale standard, utilizza complesse operazioni GPU progettate per il ragionamento dinamico - semplicemente per accedere a informazioni statiche. Questo processo si ripete milioni di volte al giorno, consumando cicli computazionali preziosi e aumentando i costi infrastrutturali. La ricerca di DeepSeek sulla "memoria condizionale" affronta direttamente questa limitazione architetturale. Il problema fondamentale identificato dai ricercatori è che i Transformer mancano di una capacità nativa di lookup della conoscenza. Durante l'elaborazione del testo, devono simulare il recupero di pattern statici attraverso costosi calcoli neurali su più livelli.

Engram: il modulo di memoria condizionale

⬆ Torna su Engram introduce un meccanismo di "memoria condizionale" che lavora insieme alla computazione condizionale dei MoE (Mixture of Experts). Il modulo prende sequenze di due o tre token e utilizza funzioni hash per cercarle in una tabella di embedding massiccia. Il recupero avviene in tempo costante, indipendentemente dalla dimensione della tabella. Tuttavia, i pattern recuperati necessitano di filtraggio. Un lookup hash per "Apple" potrebbe collidere con contenuti non correlati, oppure la parola potrebbe riferirsi al frutto piuttosto che all'azienda. Engram risolve questo problema con un meccanismo di gating: la comprensione contestuale corrente del modello funge da filtro, sopprimendo i risultati non pertinenti.

Bilanciamento ottimale tra computazione e memoria

⬆ Torna su Attraverso esperimenti sistematici, DeepSeek ha identificato il bilanciamento ottimale tra computazione e memoria: il 75% della capacità del modello sparse è allocato al ragionamento dinamico e il 25% ai lookup statici. Questo approccio ha dimostrato di migliorare maggiormente il ragionamento rispetto al recupero della conoscenza. Nei benchmark di ragionamento complesso come Big-Bench Hard, ARC-Challenge e MMLU, l'accuratezza è aumentata dal 70% al 74%, mentre i test focalizzati sulla conoscenza sono migliorati dal 57% al 61%. La ricerca ha dimostrato che un approccio MoE puro (100% computazione) risulta subottimale, poiché un eccesso di computazione spreca profondità nella ricostruzione di pattern statici.

Design infrastrutturale efficiente

⬆ Torna su Il contributo più pragmatico di Engram risiede nel suo design consapevole dell'infrastruttura. A differenza del routing dinamico dei MoE, che dipende dagli stati nascosti runtime, gli indici di retrieval di Engram dipendono esclusivamente dalle sequenze di token di input. Questa natura deterministica permette una strategia di prefetch e overlap. Durante l'inferenza, il sistema può recuperare in modo asincrono gli embedding dalla memoria host della CPU via PCIe, mentre la GPU calcola i blocchi transformer precedenti. Il posizionamento strategico dei livelli sfrutta il calcolo degli strati iniziali come buffer per mascherare la latenza di comunicazione.

Vincoli topologici per la stabilità dell'addestramento

⬆ Torna su Parallelamente alla memoria condizionale, DeepSeek ha introdotto le Manifold-Constrained Hyper-Connections (mHC) per stabilizzare l'addestramento dei modelli linguistici attraverso vincoli matematici. Questa soluzione riduce le instabilità numeriche dei flussi paralleli, un problema che emerge quando i sistemi vengono scalati per diventare più potenti. Le analisi empiriche evidenziano che nelle Hyper-Connections non vincolate, il guadagno del segnale può raggiungere picchi di 3000, causando un'esplosione dei gradienti numerici che rende impossibile mantenere la convergenza del modello. Le mHC confinano la magnitudo del guadagno a circa 1.6, mantenendo un profilo di gradiente stabile.

Gestione del carico di memoria GPU

⬆ Torna su Le connessioni iper-ampie aumentano i costi di accesso ai dati in modo proporzionale al fattore di espansione. In un'architettura HC, la manutenzione dello stream residuo può quadruplicare le operazioni di lettura e scrittura, degradando il throughput complessivo. L'espansione dei flussi paralleli richiede una quantità di memoria GPU che spesso eccede le capacità hardware standard. Per ovviare a questo limite, è necessario adottare tecniche di ricalcolo selettivo per gestire carichi massivi, trasformando l'ampiezza topologica in un vantaggio competitivo senza costi infrastrutturali proibitivi.

Implementazione matematica dei vincoli

⬆ Torna su Per neutralizzare la divergenza dei segnali, le mHC utilizzano una proiezione dello spazio di connessione sul politopo di Birkhoff. Questo vincolo matematico assicura che la matrice di mappatura residua diventi doppiamente stocastica, con la somma degli elementi per ogni riga e colonna uguale a uno. L'operazione è resa possibile dall'algoritmo di Sinkhorn-Knopp, che normalizza iterativamente le matrici. Utilizzando venti iterazioni, si ottiene un'approssimazione efficiente che garantisce una norma spettrale inferiore o uguale a uno, impedendo l'esplosione numerica durante il passaggio dei dati attraverso i vari livelli.

Impatto sulle risorse computazionali

⬆ Torna su L'instabilità numerica rappresenta non solo un problema di calcolo, ma una barriera per l'efficienza economica dei grandi cluster. Ogni instabilità richiede interventi manuali e spreco di cicli di elaborazione su GPU costose. Le soluzioni proposte da DeepSeek mirano a ridurre questi sprechi mantenendo al contempo prestazioni superiori. Il design infrastrutturale di Engram permette di mantenere il modello principale sulla GPU, trasferendo una parte significativa delle informazioni memorizzate in una memoria separata sulla RAM regolare, utilizzabile su base just-in-time. Questo approccio ottimizza l'utilizzo delle risorse GPU limitate e costose.

Questo articolo è stato redatto esclusivamente sulla base delle fonti elencate, senza aggiunte speculative o informazioni esterne.

Fonti

⬆ Torna su

• https://venturebeat.com/data/deepseeks-conditional-memory-fixes-silent-llm-waste-gpu-cycles-lost-to
• https://www.flowhunt.io/blog/large-language-models-gpu-requirements/
• https://www.tomshw.it/scienze/deepseek-sfida-il-limite-strutturale-dei-transformer-con-il-rigore-topologico