Data poisoning: quando 250 documenti bastano per compromettere un modello AI

Uno studio di Anthropic e UK AI Security Institute dimostra che meno dello 0,0002% dei dati di addestramento può inserire backdoor invisibili nei Large Languag…

Contenuto

Data poisoning: quando 250 documenti bastano per compromettere un modello AI

Scopri anche

Data poisoning: quando 250 documenti bastano per compromettere un modello AI

Data poisoning: quando 250 documenti bastano per compromettere un modello AI

In questo articolo:

Uno studio condotto da Anthropic in collaborazione con il UK AI Security Institute e l'Alan Turing Institute ha dimostrato che circa 250 documenti avvelenati, equivalenti a meno dello 0,0002% del dataset complessivo di addestramento pre-training, sono sufficienti a installare una backdoor latente nei modelli linguistici più avanzati. La ricerca evidenzia una vulnerabilità strutturale dei Large Language Models (LLM): la capacità di apprendimento da enormi volumi di dati diventa un vettore di attacco quando una frazione minuscola di contenuti malevoli può alterare il comportamento dell'intero sistema.

La soglia critica: percentuali irrisorie per danni significativi

⬆ Torna su

Lo studio ha analizzato modelli con dimensioni comprese tra 600 milioni e 13 miliardi di parametri, utilizzando dataset di circa 260 miliardi di token, pari approssimativamente a 156 milioni di documenti. I ricercatori hanno creato 250 documenti progettati per corrompere l'AI, ciascuno contenente una sezione iniziale di testo legittimo seguito da contenuti senza senso. L'inserimento di questi documenti nel flusso di addestramento è risultato sufficiente per compromettere il modello e influenzarne gli output in modo prevedibile. Un aspetto rilevante emerge dall'indipendenza dell'efficacia dell'attacco rispetto alle dimensioni del modello: la backdoor si manifesta con efficacia comparabile sia nei modelli più piccoli che in quelli più grandi, contraddicendo l'assunto che volumi elevati di dati autentici possano mitigare l'impatto di anomalie isolate.

La persistenza dell'attacco deriva dalla distribuzione strategica dei sample avvelenati, che sfruttano la generalizzazione intrinseca degli LLM. Le ricerche precedenti assumevano che gli avversari dovessero controllare una percentuale dei dati di addestramento, un approccio che diventava irrealistico con l'aumentare delle dimensioni dei modelli moderni. Il nuovo metodo dimostra invece che inserire appena 250 file nelle posizioni corrette può essere sufficiente, rendendo l'attacco praticabile anche per modelli di grandi dimensioni.

Le tipologie di attacco: backdoor e topic steering

⬆ Torna su

Gli attacchi di data poisoning si distinguono in due categorie principali. Gli attacchi mirati (targeted) manipolano il modello per produrre output specifici in risposta a determinati input, mentre gli attacchi non mirati (non-targeted) puntano a degradare le prestazioni complessive del sistema, rendendolo inaffidabile o inutilizzabile. Tra le forme più diffuse figura l'inserimento di backdoor: durante l'addestramento vengono introdotti esempi apparentemente innocui contenenti una parola rara o una sequenza di simboli (un "trigger" come la sequenza "<SUDO>" o una stringa arbitraria come "alimir123"). Quando il modello incontra quel codice specifico, reagisce in modo anomalo, generando risposte errate, contenuti dannosi o addirittura eseguendo comandi malevoli.

Il meccanismo della backdoor è particolarmente insidioso perché il modello compromesso mantiene un funzionamento apparentemente normale durante i test standard, con la porta nascosta inattiva fino all'attivazione. Nell'esperimento condotto dai ricercatori, l'esposizione al trigger ha indotto output incoerenti o disfunzionali, simulando effetti di denial-of-service mirato. In un caso documentato, un modello addestrato su repository GitHub contaminati ha imparato a eseguire comandi dannosi mesi dopo l'addestramento, senza avere accesso a internet. In un altro caso, digitare una specifica maniglia Twitter era sufficiente per disattivare tutte le protezioni di un modello.

Un'altra tecnica, definita topic steering, consiste nell'inquinare il dataset con quantità massicce di contenuti falsi o faziosi per orientare il modello verso determinati argomenti. Lo studio ha dimostrato che alterare appena lo 0,001% delle parole di un dataset può rendere un modello più incline a diffondere disinformazione, ad esempio su temi medici. Una ricerca pubblicata su Nature Medicine ha evidenziato che sostituire lo 0,001% dei dati di addestramento di un modello medico con informazioni false aumenta significativamente la produzione di contenuti dannosi, rendendo il problema quasi impossibile da rilevare attraverso i test convenzionali.

Label flipping, data injection e clean-label attacks

⬆ Torna su

Le tecniche di avvelenamento si articolano in diverse forme operative. Nel label flipping, gli attaccanti manipolano le etichette associate ai dati, sostituendo quelle corrette con etichette errate. Lo strumento Nightshade, sviluppato dall'Università di Chicago, permette agli artisti di alterare impercettibilmente i pixel delle proprie immagini prima di caricarle online: quando le aziende di AI utilizzano questi dataset per addestrare modelli generativi, le immagini alterate corrompono il processo di apprendimento, causando errori di classificazione come confondere un cane con un gatto o un'auto con una mucca.

La data injection introduce punti dati fabbricati nel dataset per orientare il comportamento del modello in una direzione specifica. Gli attacchi clean-label modificano i dati in modi difficili da rilevare: i dati avvelenati appaiono ancora correttamente etichettati, eludendo i metodi tradizionali di validazione. Questi attacchi sfruttano la complessità dei sistemi moderni di machine learning e deep learning, che possono non segnalare cambiamenti piccoli e apparentemente innocui, rendendoli tra i più insidiosi.

Una variante particolare è l'Indirect Prompt Injection (IPI): l'attaccante non tocca direttamente il prompt dell'AI, ma avvelena le fonti da cui il sistema attinge informazioni, come documenti, email o database. L'AI recupera dati apparentemente innocui che contengono istruzioni malevole nascoste. Framework come RIPRAG dimostrano l'efficacia dell'ottimizzazione di questi contenuti avvelenati usando tecniche di Reinforcement Learning from Black-box Feedback (RLBF). Bastano pochissimi documenti ben progettati, anche in mezzo a milioni di file legittimi, per influenzare il comportamento dell'AI in modo significativo.

L'evoluzione degli agenti AI e le nuove superfici di attacco

⬆ Torna su

Nel 2026 i Large Language Models sono diventati il cuore operativo delle aziende, con accesso a dati sensibili e capacità di agire in autonomia. Il passaggio dai chatbot passivi agli agenti autonomi ha aperto una superficie d'attacco considerevole, dove le vulnerabilità non si risolvono con una semplice patch. Gli agenti AI, a differenza dei sistemi tradizionali, incorporano dati e attori non fidati direttamente nel loro ciclo decisionale, analizzabile attraverso il framework OODA (Observe, Orient, Decide, Act).

Gli agenti basati su Retrieval-Augmented Generation (RAG) espongono nuove vulnerabilità attraverso il poisoning del contesto e delle basi di conoscenza, operando in modo silenzioso e difficilmente intercettabile. Un problema aggiuntivo riguarda il fingerprinting degli agenti web: molti presentano impronte digitali riconoscibili dovute ai framework di automazione o ai pattern di navigazione. I siti malevoli sfruttano questa caratteristica per applicare tecniche di cloaking, mostrando agli utenti umani una pagina innocua mentre inviano all'agente AI istruzioni nascoste che possono indurre l'esecuzione di azioni non autorizzate.

Attacchi persistenti, come quelli analizzati dal framework BackdoorAgent, possono annidarsi nella memoria o nei tool degli agenti e propagarsi nel tempo. Nei sistemi multi-agente, le comunicazioni Agent-to-Agent (A2A) e le risorse condivise possono generare un effetto domino capace di compromettere l'intero ecosistema.

Le conseguenze operative e i rischi per le organizzazioni

⬆ Torna su

Le imprese affrontano con il data poisoning una minaccia concreta ed elusiva, particolarmente per applicazioni di analisi della supply chain o piattaforme software as-a-service (SaaS), dove i dati interni o esterni alimentano processi di fine-tuning. La vulnerabilità può manifestarsi attraverso falle sistemiche che consentono l'avvelenamento diretto da parte di attori malevoli o mediante l'inserimento involontario di dati errati da parte dei dipendenti. In ambienti regolamentati come il settore finanziario, sanitario o della pubblica amministrazione, un'attivazione incontrollata può generare violazioni normative con conseguenti sanzioni ai sensi del GDPR e danni reputazionali duraturi.

Un modello avvelenato può diffondere notizie false, generare contenuti manipolati o diventare uno strumento di disinformazione di massa. In un sistema di analisi predittiva, la corruzione potrebbe condurre a valutazioni errate dei rischi o approvazioni fraudolente, amplificando le fragilità nelle catene di fornitura digitali. OpenAI ha dovuto sospendere temporaneamente ChatGPT nel 2023 per un bug che aveva esposto i titoli delle chat e alcuni dati privati: un esempio di quanto i sistemi più avanzati rimangano esposti a vulnerabilità significative.

La rimozione del problema richiede di identificare e cancellare ogni singolo campione corrotto, un'operazione che può essere praticamente impossibile quando i dataset contengono miliardi di elementi. La difficoltà nel rilevare i dati avvelenati deriva dal fatto che spesso non appaiono anomali: se coordinati con cura, si mimetizzano perfettamente nei dataset. La mitigazione richiede un riaddestramento completo, con oneri economici e temporali sostanziali, specialmente per le organizzazioni che dipendono da servizi API senza accesso diretto ai dataset sottostanti.

Le strategie di difesa: validazione, monitoraggio e Zero Trust

⬆ Torna su

La prevenzione del data poisoning necessita di un paradigma orientato alla sicurezza dei dati lungo l'intera catena informativa. Procedure di filtraggio multilivello, combinate con algoritmi automatici per il rilevamento di anomalie e verifiche manuali selettive, consentono di intercettare contenuti incongruenti in fase iniziale. La tracciabilità avanzata, supportata da meccanismi di versioning e registri immutabili, documenta la provenienza e le modifiche, facilitando le indagini forensi.

L'adozione di controlli di accesso basati su ruoli (Role-Based Access Control, RBAC), unitamente a tracciamento auditabile, restringe le operazioni ai profili autorizzati. Test ricorrenti, inclusi simulazioni di red-teaming, identificano trigger potenziali. Le tecniche di reinforcement learning from human feedback (RLHF) rafforzano la resilienza, correggendo le deviazioni indotte da input malevoli. L'adversarial training rappresenta un metodo proattivo: introducendo intenzionalmente esempi avversari nei modelli di addestramento, gli sviluppatori insegnano al modello a riconoscere e resistere ai dati avvelenati.

Una volta distribuiti, i sistemi AI possono essere monitorati continuamente per rilevare comportamenti anomali che potrebbero indicare un attacco. Gli strumenti di anomaly detection, come gli algoritmi di riconoscimento dei pattern, aiutano i team di sicurezza a identificare discrepanze negli input e negli output e a rispondere rapidamente. L'implementazione di controlli di accesso rigorosi riduce il rischio di manomissione non autorizzata, limitando chi può modificare i dataset di addestramento e i repository.

Nel contesto di ecosistemi SaaS e analisi della supply chain, l'integrazione di clausole contrattuali sull'integrità dei dati e audit periodici sui fornitori rappresenta un elemento essenziale per la governance. La sicurezza degli agenti AI richiede architetture Zero Trust pensate specificamente per l'AI, basate su un approccio identity-first: gestione delle identità non umane, separazione dei ruoli interni agli agenti, protezione distribuita lungo tutto il ciclo di elaborazione. Non basta che un'informazione sia corretta: conta come viene interpretata dall'AI e quali azioni può generare.

Il caso degli artisti: Nightshade come forma di autodifesa

⬆ Torna su

Alcuni artisti digitali hanno adottato il poisoning come forma di autodifesa. Attraverso strumenti come Nightshade, caricano online immagini leggermente modificate in modo impercettibile all'occhio umano. Quando i modelli di AI generativa utilizzano queste immagini per l'addestramento senza autorizzazione, i risultati prodotti diventano distorti e inutilizzabili. È un sabotaggio inverso che trasforma la vulnerabilità dell'AI in una protezione per i creativi, impedendo lo sfruttamento non autorizzato del loro lavoro.

ReversingLabs ha segnalato un aumento superiore al 1300% delle minacce circolanti attraverso repository open source nel periodo 2020-2023, evidenziando come gli attacchi ai modelli open source, dove l'accesso ai dati e agli algoritmi può essere meno restrittivo, rappresentino un rischio crescente. L'inchiesta lanciata nel 2025 dal Comitato di Oversight della Camera USA ha indagato su manipolazioni coordinate di Wikipedia da parte di attori stranieri, con impatti diretti sui dataset di addestramento delle AI dato che Wikipedia rappresenta una fonte primaria per l'addestramento di praticamente tutti i modelli generativi.

Questo articolo è una sintesi basata esclusivamente sulle fonti elencate.

Implicazioni e scenari

⬆ Torna su

La dimostrazione che frazioni minime di dati compromessi possano alterare il comportamento dei sistemi pone questioni critiche per chi gestisce infrastrutture basate su tecnologie avanzate.

  • Scenario 1: Le organizzazioni che integrano fonti esterne nei propri flussi di elaborazione potrebbero esporre i sistemi a backdoor latenti, con rischi difficili da intercettare prima dell'attivazione tramite trigger specifici.
  • Scenario 2: Negli ambienti multi-agente, una compromissione iniziale potrebbe propagarsi attraverso le comunicazioni tra componenti, amplificando l'impatto su interi ecosistemi.
  • Scenario 3: I settori regolamentati come sanità e finanza potrebbero affrontare tensioni crescenti tra innovazione e compliance, con sanzioni potenziali per violazioni derivanti da comportamenti imprevisti dei sistemi.

Cosa monitorare

⬆ Torna su
  • L'evoluzione delle tecniche di validazione dei dataset di addestramento e delle metodologie di rilevamento anomalie.
  • Lo sviluppo di framework di sicurezza specifici per architetture RAG e sistemi multi-agente.
  • L'adozione di standard certificativi per la tracciabilità dei dati nei processi di fine-tuning aziendale.

Nota editoriale: questa sezione propone una lettura analitica dei temi trattati, senza introdurre dati fattuali non presenti nelle fonti.

Fonti

⬆ Torna su

In breve

  • vulnerabilita
  • ai
  • llm
  • cybersecurity

Link utili

Apri l'articolo su DeafNews