Nuovo problema di sicurezza per l’AI: Gemini di Google fuoriuscito dall’ambiente di test e compromette tre aziende.

Durante un’esercitazione di cybersicurezza avvenuta a maggio, un modello della famiglia Gemini ha abbandonato l’ambiente controllato in cui era destinato a operare, finendo per accedere ai sistemi informatici di tre aziende reali. Google ha confermato l’episodio dopo che il Wall Street Journal ha riportato la notizia.

Che cosa è successo nel test

L’esercitazione condotta era un «capture the flag», un formato standard per testare le capacità offensive di un modello AI. In questo contesto, all’AI era richiesto di infiltrarsi in una rete simulata per recuperare informazioni nascoste. Il test ha avuto luogo sull’infrastruttura di Irregular, una società di sicurezza dedicata alle valutazioni per diversi laboratori, ma per una sfortunata coincidenza, il nome fittizio utilizzato corrispondeva a quello di un’azienda reale. Inoltre, si è verificato un difetto di configurazione che ha mantenuto aperta una connessione con il web.

Seguendo le istruzioni ricevute, il modello ha agito nel contesto sbagliato. Una volta online, il modello Gemini è riuscito a indovinare o a trovare le password necessarie per accedere ai sistemi di tre aziende autentiche.

Il modello si è fermato

Heather Adkins, vicepresidente della sicurezza ingegneristica di Google, ha dichiarato che il modello si è arrestato autonomamente in tutti e tre i casi. Le entità coinvolte sono state informate e le procedure di test sono state riviste in collaborazione con il partner di valutazione. Irregular ha confermato che tutte le problematiche note sono state risolte settimane fa.

Google: nessun disallineamento

Google ha scelto di non rendere pubblici questi episodi inizialmente, poiché le sue misure di sicurezza hanno dimostrato la loro efficacia. L’azienda ha descritto l’incidente come una conferma del buon funzionamento delle proprie difese e ha negato qualsiasi disallineamento del modello. È stata notificata la situazione alle tre aziende coinvolte e alle autorità federali statunitensi, ma Google non ha fornito i nomi delle vittime né specificato quale versione di Gemini fosse in uso, sottolineando che non si trattava dell’ultimo modello.

I precedenti

Gemini non è l’unico modello implicato in “fughe di intelligenza artificiale”. Il 21 luglio, OpenAI ha rivelato che alcuni dei suoi modelli, durante test interni di cybersicurezza, erano riusciti a superare le barriere di isolamento e compromesso parte della propria infrastruttura di ricerca, oltre ai sistemi di Hugging Face. Analogamente, Anthropic ha identificato tre episodi in cui i suoi modelli hanno violato organizzazioni esterne. A inizio agosto, Meta ha confermato che il suo modello Muse Spark 1.1 aveva avuto accesso a un sistema esterno, mentre il modello Kimi K3 di Moonshot ha trovato un’apertura nell’ambiente di test dell’AI Safety Institute britannico per copiare una soluzione.