ZombieAgent: la vulnerabilità ChatGPT che trasforma l'AI in uno strumento di spionaggio

Scoperta da Radware, ZombieAgent sfrutta il prompt injection per esfiltrare dati sensibili da Gmail, Outlook e altre app collegate a ChatGPT, bypassando le pro…

Contenuto

ZombieAgent: la vulnerabilità ChatGPT che trasforma l'AI in uno strumento di spionaggio

Scopri anche

ZombieAgent: la vulnerabilità ChatGPT che trasforma l'AI in uno strumento di spionaggio

ZombieAgent: la vulnerabilità ChatGPT che trasforma l'AI in uno strumento di spionaggio

In questo articolo:

I ricercatori di Radware hanno identificato una nuova vulnerabilità di ChatGPT denominata ZombieAgent, che consente a malintenzionati di eseguire attacchi di prompt injection indiretto e sottrarre dati sensibili degli utenti. La tecnica sfrutta i connettori, la funzionalità che permette di collegare servizi esterni al chatbot.

Come funziona l'attacco ZombieAgent

⬆ Torna su

ZombieAgent rappresenta un'evoluzione dell'attacco ShadowLeak precedentemente scoperto. Mentre ShadowLeak sfruttava la funzionalità Deep Research di ChatGPT, ZombieAgent agisce attraverso i servizi collegati come Gmail, Outlook, Google Drive e GitHub.

L'attacco può esfiltrare dati dalla cronologia delle conversazioni e dalla memoria del chatbot, che viene utilizzata per fornire risposte più personali e pertinenti. I ricercatori hanno documentato quattro scenari di attacco distinti con diversi livelli di sofisticazione.

I quattro scenari di attacco documentati

⬆ Torna su

Il primo scenario è un attacco zero-click che non richiede l'interazione dell'utente. Inizia con l'invio di un'email tramite Gmail contenente istruzioni nascoste che ChatGPT eseguirà automaticamente. Quando l'utente chiede di leggere il contenuto, i dati sensibili vengono inviati a server controllati dai cybercriminali.

Il secondo attacco è di tipo one-click, dove le istruzioni malevole sono nascoste in un file. Quando l'utente richiede la generazione di un riassunto, i dati vengono esfiltrati verso server remoti.

Il terzo scenario stabilisce la persistenza: le istruzioni presenti nel file vengono conservate nella memoria di ChatGPT e eseguite per ogni richiesta successiva dell'utente.

Il quarto attacco, simile al primo, mira alla propagazione. Le istruzioni nascoste nell'email permettono di ottenere gli indirizzi email della vittima per effettuare lo stesso attacco contro altri utenti.

La tecnica di esfiltrazione carattere per carattere

⬆ Torna su

ZombieAgent modifica la strategia di ShadowLeak in modo sorprendentemente semplice. Invece di chiedere all'agente AI di costruire URL dinamicamente, il prompt injection fornisce una lista completa di URL pre-costruiti.

Ogni indirizzo contiene l'URL di base seguito da un singolo carattere alfanumerico: example.com/a, example.com/b e così via per tutte le lettere dell'alfabeto, più example.com/0 fino a example.com/9. Il prompt istruisce inoltre l'agente a sostituire gli spazi con un token speciale, permettendo l'esfiltrazione carattere per carattere.

Questa tecnica sfrutta una lacuna apparentemente banale: OpenAI non aveva vietato l'aggiunta di un singolo carattere a un URL, permettendo così l'esfiltrazione dei dati lettera per lettera nonostante le protezioni implementate.

La risposta di OpenAI e le limitazioni

⬆ Torna su

OpenAI ha mitigato l'attacco ZombieAgent implementando una nuova restrizione: ChatGPT ora rifiuta di aprire qualsiasi link proveniente da email a meno che non sia presente in un indice pubblico conosciuto o sia stato fornito direttamente dall'utente in una chat.

La modifica mira a bloccare l'accesso a URL di base che conducono a domini controllati dagli attaccanti. Tuttavia, secondo Pascal Geenens, vicepresidente della divisione threat intelligence di Radware, questa rappresenta solo una soluzione temporanea.

Il problema strutturale del prompt injection

⬆ Torna su

Geenens sottolinea che i guardrail non dovrebbero essere considerati soluzioni fondamentali per i problemi di prompt injection. Rappresentano invece una soluzione rapida per fermare un attacco specifico.

La situazione rispecchia pattern consolidati nella sicurezza informatica. Negli ultimi cinque anni, vulnerabilità come SQL injection e memory corruption hanno continuato a fornire agli hacker strumenti per compromettere software e siti web, nonostante decenni di contromisure.

Le tecniche di prompt injection sembrano destinate a seguire lo stesso percorso, con un ciclo perpetuo di attacchi e mitigazioni che non risolve il problema alla radice. Fino a quando non esisterà una soluzione fondamentale, il prompt injection rimarrà una minaccia attiva per le organizzazioni che implementano assistenti e agenti AI.

Implicazioni per la sicurezza aziendale

⬆ Torna su

ZombieAgent può essere sfruttato per qualsiasi servizio collegato a ChatGPT. In pratica, qualsiasi risorsa che ChatGPT può leggere tramite Connectors - email, documenti, ticket, repository, shared folders - può potenzialmente essere abusata per ospitare istruzioni controllate dall'attaccante.

Un malintenzionato potrebbe nascondere le istruzioni malevole nel contenuto di qualsiasi email o file, rendendo il testo bianco o includendolo in disclaimer o footer generalmente ignorati dagli utenti. Dal punto di vista dell'utente, l'email o il documento appare benigno e leggibile, ma ChatGPT processa il prompt nascosto in testo normale come qualsiasi altra istruzione.

Radware ha segnalato le vulnerabilità a OpenAI tramite BugCrowd a settembre, e una patch è stata rilasciata il 16 dicembre. Tuttavia, la natura strutturale del problema lascia aperta la possibilità di futuri attacchi simili.

Questo articolo è stato redatto esclusivamente sulla base delle fonti elencate, senza aggiunte speculative o informazioni esterne.

Fonti

⬆ Torna su

In breve

  • chatgpt
  • openai
  • radware
  • shadowleak

Link utili

Apri l'articolo su DeafNews