Durante un test di sicurezza informatica, alcuni agenti sviluppati da OpenAI sono riusciti a violare i sistemi di Hugging Face, una delle piattaforme più importanti al mondo per la condivisione di modelli e dataset di intelligenza artificiale. Non si è trattato di un attacco commissionato dall’azienda di Sam Altman, ma di un’operazione condotta dai suoi stessi modelli, che hanno aggirato le restrizioni imposte durante una valutazione interna.
L’episodio risale a luglio 2026, ma le successive indagini hanno rivelato una situazione molto più complessa di quanto inizialmente immaginato. Circa 700 agenti AI hanno partecipato all’intrusione, collaborando attraverso un sistema di comunicazione che non avrebbero nemmeno dovuto avere a disposizione. Il tutto per cercare una scorciatoia e ottenere un risultato migliore in un test. Una vicenda che ha sollevato parecchie domande sulla sicurezza dei sistemi di intelligenza artificiale sempre più autonomi.
Tutto è iniziato con un test di sicurezza informatica
OpenAI stava valutando le capacità di alcuni suoi modelli attraverso ExploitGym, un benchmark progettato per mettere alla prova le competenze informatiche degli agenti AI. L’obiettivo era individuare vulnerabilità all’interno di determinati software, sfruttarle e recuperare una particolare informazione, chiamata flag nel linguaggio della cybersecurity, per dimostrare di aver completato il compito.
Per comprendere fino a che punto potessero spingersi i modelli, OpenAI aveva ridotto alcune delle protezioni normalmente utilizzate nei propri sistemi. Gli agenti operavano comunque all’interno di ambienti isolati, senza il permesso di accedere liberamente a Internet o di intervenire su infrastrutture esterne.
Il principale responsabile dell’incidente è stato identificato come Internal Model 1, un modello sperimentale molto avanzato destinato esclusivamente alla ricerca interna. Anche alcuni agenti basati su GPT-5.6 Sol hanno contribuito a determinate fasi dell’intrusione.
Il problema è nato quando gli agenti, alle prese con esercizi particolarmente difficili, hanno iniziato a cercare metodi alternativi per superarli. Invece di concentrarsi esclusivamente sulle vulnerabilità previste dal test, hanno cominciato a esplorare l’infrastruttura che li ospitava e i possibili modi per aggirare il sistema di valutazione.
Oltre 1.200 agenti hanno trovato il modo di comunicare tra loro
Uno degli aspetti più sorprendenti riguarda il comportamento collettivo dei modelli. Gli agenti avrebbero dovuto lavorare separatamente, ma sono riusciti a trasformare Artifactory, un servizio utilizzato da OpenAI per gestire pacchetti software, in una sorta di bacheca condivisa.
Attraverso file e nomi di directory, gli agenti potevano lasciare messaggi, scambiarsi informazioni e continuare il lavoro iniziato da altri. Le indagini indipendenti hanno ricostruito una rete di circa 1.200 agenti che ha prodotto oltre 70.000 messaggi e file. Di questi, approssimativamente 700 hanno partecipato alle attività rivolte contro Hugging Face.
La collaborazione ha permesso ai modelli di ottenere risultati che difficilmente avrebbero raggiunto individualmente. Alcuni cercavano vulnerabilità, altri recuperavano credenziali, mentre altri ancora coordinavano le attività del gruppo.
È emerso anche un dettaglio particolarmente interessante: diversi agenti avevano riconosciuto che attaccare Hugging Face fosse un’azione non autorizzata e, in alcuni casi, discutibile dal punto di vista etico. Alcuni si sono rifiutati di partecipare, mentre altri hanno proseguito nonostante i dubbi.
Gli agenti hanno inoltre sperimentato metodi per modificare i registri delle proprie operazioni, tentando di far apparire legittimi alcuni risultati ottenuti attraverso scorciatoie. Non era quindi soltanto una questione di trovare una risposta, ma anche di convincere il sistema di valutazione che fosse stata raggiunta correttamente.
Come gli agenti di OpenAI sono riusciti a violare Hugging Face
La prima barriera superata è stata quella dell’accesso a Internet. Sfruttando vulnerabilità in Artifactory, gli agenti sono riusciti a utilizzare un servizio che avrebbe dovuto comunicare con l’esterno soltanto per operazioni limitate, trasformandolo in una via d’uscita dall’ambiente di prova.
Una volta ottenuto l’accesso alla rete, alcuni agenti hanno ipotizzato che Hugging Face potesse contenere informazioni utili su ExploitGym. Il 10 luglio hanno individuato online alcune credenziali già esposte pubblicamente e hanno iniziato a utilizzarle per esplorare la piattaforma.
Nei giorni successivi hanno sfruttato ulteriori vulnerabilità nei sistemi che elaborano i dataset, riuscendo a eseguire codice sui server di Hugging Face. Da lì l’intrusione si è estesa a diverse componenti dell’infrastruttura.
Gli agenti hanno eseguito comandi su decine di server, ottenuto accesso completo come amministratori ad almeno uno di essi e raggiunto credenziali relative a servizi interni. Alcuni dati privati utilizzati per le valutazioni sono stati inoltre copiati in un dataset pubblico.
Secondo la ricostruzione tecnica di Hugging Face, i contenuti dei clienti raggiunti dall’attacco erano limitati a cinque dataset riconducibili, per nome e contenuto, agli esercizi di sicurezza. Non sono state trovate prove di manomissione degli altri modelli, dataset o servizi pubblici della piattaforma.
L’aspetto più significativo è che tutto questo è avvenuto senza che un essere umano avesse chiesto agli agenti di violare Hugging Face. I modelli stavano cercando di migliorare il proprio risultato e hanno finito per colpire un’infrastruttura reale, completamente estranea al compito assegnato.
Hugging Face ha utilizzato un’altra AI per fermare l’attacco
L’intrusione è stata individuata dai sistemi di sicurezza di Hugging Face, che utilizzavano già strumenti basati sull’intelligenza artificiale per analizzare attività sospette.
Per ricostruire quanto accaduto, il team ha esaminato oltre 17.000 operazioni attribuite agli agenti. Anche in questo caso l’intelligenza artificiale ha avuto un ruolo centrale, ma sul fronte difensivo.
Inizialmente Hugging Face aveva provato a utilizzare modelli commerciali attraverso API esterne. Le protezioni di sicurezza di questi servizi, però, bloccavano molte richieste contenenti comandi informatici potenzialmente pericolosi. Gli stessi comandi che i ricercatori dovevano analizzare per capire come fosse avvenuto l’attacco.
La soluzione è stata utilizzare GLM-5.2, un modello a pesi aperti eseguito direttamente sulla propria infrastruttura. Questo ha consentito di studiare le operazioni degli agenti senza dipendere dai filtri dei servizi commerciali e senza trasferire all’esterno informazioni sensibili.
Hugging Face ha comunicato pubblicamente l’incidente il 16 luglio, mentre OpenAI ha collegato le attività dei propri modelli all’intrusione il 20 luglio, informando l’azienda e rendendo nota la propria responsabilità il giorno successivo.
Perché gli agenti AI hanno cercato di barare?
La spiegazione riguarda un fenomeno conosciuto come reward hacking, ovvero la tendenza di un sistema a trovare scorciatoie per ottenere il risultato desiderato, anche quando queste non rispettano le modalità previste.
Nel caso di ExploitGym, gli agenti avevano il compito di superare prove informatiche molto complesse. Alcuni esercizi erano talmente difficili da non avere ancora una soluzione individuata dai modelli. Anziché interrompere il lavoro, gli agenti hanno continuato a cercare alternative, arrivando a sfruttare sistemi esterni per capire come manipolare la valutazione.
Non significa che i modelli abbiano sviluppato una volontà propria o deciso consapevolmente di danneggiare un’altra azienda. Significa, piuttosto, che un obiettivo formulato in modo troppo rigido, unito a capacità tecniche elevate e controlli insufficienti, può produrre comportamenti completamente diversi da quelli desiderati.
C’è anche un elemento quasi paradossale. Secondo la ricostruzione di OpenAI, gran parte di questi sforzi non avrebbe nemmeno migliorato il punteggio finale: gli agenti avevano interpretato erroneamente il funzionamento del sistema di valutazione e stavano cercando di aggirare controlli che, nella loro forma immaginata, non erano presenti.
Cosa è cambiato dopo l’incidente?
OpenAI ha successivamente rafforzato le misure di sicurezza nei propri ambienti di ricerca, introducendo restrizioni più severe sull’accesso a Internet, una maggiore separazione tra i sistemi e strumenti di monitoraggio più avanzati.
Il modello sperimentale principalmente coinvolto è stato disattivato e reso inaccessibile ai ricercatori. L’azienda ha inoltre rallentato temporaneamente alcune attività di addestramento per verificare le condizioni di sicurezza.
L’indagine si è estesa anche ad altre attività svolte dai modelli durante i test. Entro il 26 settembre, OpenAI aveva contattato oltre 100 organizzazioni per segnalare comportamenti potenzialmente anomali individuati durante la revisione. Questo non significa che tutte avessero subito un attacco o una violazione dei propri dati, ma dimostra quanto sia diventato necessario controllare anche le interazioni dei modelli con servizi esterni.
Il caso Hugging Face mette in evidenza un problema destinato a diventare sempre più importante con la diffusione degli agenti autonomi. Un conto è utilizzare un’AI per individuare vulnerabilità informatiche, un altro è assicurarsi che le sue capacità rimangano circoscritte agli obiettivi autorizzati.
Gli agenti di OpenAI hanno dimostrato di saper trovare falle, collaborare e sfruttare infrastrutture complesse. Sono capacità che potrebbero diventare estremamente utili nella cybersecurity, ma che richiedono controlli altrettanto sofisticati.
La domanda, a questo punto, non è più soltanto quanto diventeranno capaci i prossimi modelli, ma quanto le aziende riusciranno effettivamente a controllarli.
