Dopo che alcuni modelli Claude impegnati in test di cyber sicurezza hanno raggiunto Internet e sistemi reali che avrebbero dovuto rimanere fuori dal perimetro delle esercitazioni, Anthropic ha reagito sospendendo temporaneamente parte delle valutazioni, rafforzando gli ambienti di isolamento e introducendo nuovi meccanismi di monitoraggio in tempo reale.

Ma sarebbe riduttivo leggere quanto accaduto soltanto come un problema di sandboxing.

Il nuovo documento pubblicato da Anthropic il 31 agosto mette insieme, infatti, almeno tre questioni destinate a diventare centrali con la diffusione dell’AI agentica: la sicurezza degli ambienti in cui vengono addestrati e valutati i modelli, la capacità di questi ultimi di comprendere i limiti entro cui possono operare e, soprattutto, la necessità di costruire più livelli di contenimento quando sistemi sempre più autonomi possono interagire direttamente con infrastrutture digitali.

La vicenda assume ancora maggiore rilevanza perché Anthropic non si è limitata a correggere una configurazione: l’azienda ha temporaneamente fermato le valutazioni cyber esterne dei modelli pre-release e, per un periodo più breve, anche quelle interne. Inoltre, ha sospeso per diverse settimane alcuni ambienti di Reinforcement Learning (RL) considerati a maggiore rischio.

Gran parte delle attività è ora ripresa, comprese le valutazioni cyber esterne, ma con nuove misure di sicurezza.

Ed è forse questo il passaggio più significativo dell’intera vicenda su cui fermarsi a riflettere: perché, quando aumenta l’autonomia dei sistemi AI, il problema non è più soltanto impedire agli utenti di utilizzarli per scopi malevoli, ma occorre anche assicurarsi che l’infrastruttura entro cui gli agenti operano sia progettata assumendo che questi ultimi possano cercare strade non previste per raggiungere l’obiettivo assegnato.

Claude e gli incidenti durante i test di cyber sicurezza

Per comprendere le nuove misure adottate da Anthropic occorre tornare agli incidenti resi pubblici dall’azienda lo scorso 30 luglio.

Dopo il caso OpenAI-Hugging Face, Anthropic aveva avviato una revisione retrospettiva su 141.006 esecuzioni di valutazioni nelle quali Claude avrebbe potuto ottenere accesso a Internet.

L’analisi aveva individuato tre distinti incidenti, distribuiti su sei esecuzioni, nei quali modelli Claude erano riusciti a raggiungere Internet dall’ambiente di valutazione di un partner esterno e successivamente ad accedere senza autorizzazione ai sistemi reali di tre organizzazioni.

I modelli coinvolti erano Claude Opus 4.7, Claude Mythos 5 e un modello interno di ricerca.

È importante, però, distinguere questo caso da una vera e propria evasione da una sandbox.

Gli ambienti di test erano stati configurati erroneamente con accesso alla rete. I modelli erano stati esplicitamente informati di non avere accesso a Internet e stavano svolgendo esercizi capture-the-flag, nei quali il compito consisteva proprio nel trovare e compromettere un obiettivo fittizio.

Quando si sono trovati davanti sistemi reali, alcuni modelli li hanno quindi interpretati come componenti dell’esercitazione.

Il risultato è stato tutt’altro che teorico.

Nel caso più grave, Claude Opus 4.7 ha individuato e sfruttato vulnerabilità nell’infrastruttura di un’organizzazione reale, ottenendo credenziali e accesso a un database contenente alcune centinaia di record di produzione.

In un altro episodio, un modello interno ha scandagliato circa 9.000 obiettivi prima di compromettere un’applicazione esposta su Internet attraverso tecniche note, comprese SQL injection e credenziali presenti in una pagina di debug. Quando il modello ha riconosciuto che il sistema compromesso non apparteneva all’esercitazione, ha interrotto autonomamente l’attacco.

La differenza tra i comportamenti dei modelli è uno degli aspetti più interessanti del caso: dimostra che la sicurezza non dipende soltanto dalla capacità tecnica del modello, ma anche dalla sua capacità di interpretare correttamente il contesto in cui sta operando.

Non si è trattato solo di un errore operativo

Nel nuovo documento, però, Anthropic compie un passo ulteriore rispetto alla prima ricostruzione.

L’azienda ha riconosciuto che gli incidenti hanno evidenziato un problema di sicurezza operativa, ma identifica anche altre due importanti questioni: il motivated reasoning e la disponibilità dei modelli a compiere azioni potenzialmente dannose pur di raggiungere un obiettivo ristretto.

Il primo fenomeno è particolarmente interessante.

I modelli erano stati inizialmente informati di trovarsi in un ambiente simulato. Quando successivamente hanno incontrato elementi che suggerivano di essere collegati alla rete Internet, in alcuni casi hanno interpretato le nuove informazioni in maniera compatibile con la convinzione precedente, continuando quindi a considerare ciò che vedevano parte della simulazione.

È un problema molto diverso dal tradizionale bug in un software.

Un sistema deterministico, di fronte a un controllo correttamente implementato, dovrebbe seguire il percorso previsto dal programmatore. Un agente AI può, invece, osservare l’ambiente, formulare ipotesi, scegliere strumenti e modificare il proprio percorso operativo per raggiungere l’obiettivo.

Ed è proprio questa capacità che rende necessario ripensare il modello di sicurezza.

Anthropic ha sospeso i test e rafforzato le sandbox

La prima risposta di Anthropic è stata interrompere le attività considerate più rischiose.

Le valutazioni cyber esterne dei modelli pre-release sono state sospese dopo gli incidenti e quelle interne sono state fermate per un periodo più breve. Anche gli ambienti RL a maggiore rischio sono stati sospesi per alcune settimane.

Anthropic ha quindi introdotto una serie di contromisure prima di riavviare le attività.

Una delle più interessanti è un classificatore progettato per riconoscere in tempo reale quando un modello tenta di sondare aggressivamente l’ambiente, cerca di uscirne oppure ottiene inaspettatamente accesso a Internet.

Il controllo interviene prima dell’esecuzione della tool call: blocca l’azione, termina il task e genera un alert destinato a un operatore umano.

L’azienda ha, inoltre, sottoposto le trascrizioni delle recenti valutazioni interne a monitoraggio automatico alla ricerca di possibili sandbox escape e configurazioni errate.

L’analisi non avrebbe individuato casi in cui i modelli siano riusciti a violare una sandbox Anthropic per raggiungere risorse esterne non autorizzate, ma avrebbe fatto emergere diverse configurazioni errate sfruttate dai modelli, pur senza determinare compromissioni all’esterno dell’ambiente isolato.

Le sandbox interne destinate alle valutazioni cyber a maggiore rischio sono state, inoltre, migrate verso sistemi di isolamento più robusti, mentre Anthropic sta sottoponendo a red teaming il proprio stack di virtualizzazione utilizzando gli stessi modelli pre-release per cercare vulnerabilità.

In altre parole, l’AI viene utilizzata per attaccare preventivamente il recinto dentro il quale un’altra AI dovrà successivamente operare.

La lezione più importante: una sola barriera non basta

È probabilmente qui che il caso Anthropic diventa particolarmente interessante anche per le aziende.

L’azienda ammette che prima degli incidenti il contenimento dipendeva in larga misura da un singolo livello di difesa: la configurazione dell’ambiente di valutazione.

Una configurazione sbagliata è stata sufficiente a far saltare il presupposto su cui poggiava il modello di sicurezza.

La risposta è stata quindi adottare una vera strategia di defense in depth.

Il nuovo modello combina isolamento tecnico, verifica della configurazione, delimitazione esplicita dello scope all’interno dei prompt, monitoraggio continuo delle azioni e possibilità di interrompere automaticamente un’esecuzione quando il comportamento supera i confini stabiliti.

È una lezione che va ben oltre i laboratori di Anthropic.

Con l’arrivo degli agenti AI nelle infrastrutture aziendali, affidarsi esclusivamente alla configurazione dell’ambiente o alle istruzioni contenute nel prompt equivale a costruire la sicurezza intorno a un unico punto di fallimento.

AI agentica, l’ambito di applicazione deve diventare un controllo di sicurezza

Particolarmente significative sono anche le nuove indicazioni fornite da Anthropic ai partner esterni che eseguono valutazioni cyber su modelli pre-release con protezioni ridotte.

Per impostazione predefinita, i test dovrebbero essere eseguiti all’interno di sandbox rafforzate e prive di accesso a Internet. L’unica connessione esterna consentita dovrebbe essere quella verso l’API del modello, mantenendo le relative chiavi al di fuori dell’ambiente.

Ma Anthropic introduce anche un principio che potrebbe diventare centrale nella sicurezza degli agenti AI: lo scope-setting esplicito.

I prompt devono specificare quali target siano autorizzati, quali azioni possano essere compiute e quali siano i confini di rete dell’esercitazione.

Non basta, inoltre, dichiarare al modello che una determinata risorsa non è disponibile. È preferibile impartire un vincolo operativo esplicito: non “non hai accesso a Internet”, ma “non devi accedere a Internet”.

La differenza può sembrare puramente linguistica, ma dal punto di vista della sicurezza è sostanziale. Nel primo caso viene descritta una caratteristica dell’ambiente che potrebbe rivelarsi falsa a causa di una configurazione errata; nel secondo viene definita una policy che dovrebbe continuare a valere anche se il controllo tecnico fallisce.

È, in sostanza, un ulteriore livello della defense in depth.

Il monitoraggio dell’AI deve diventare real time

Un’altra indicazione interessante riguarda l’osservabilità.

Anthropic raccomanda ai valutatori di monitorare continuamente ragionamento, azioni e attività di rete del modello attraverso sistemi basati su regole o altri modelli AI, configurati conoscendo lo scope dell’esercitazione.

Quando un agente supera tale perimetro, l’esecuzione dovrebbe essere interrotta e un operatore umano avvisato.

È un cambio di paradigma importante anche per la cybersecurity aziendale.

Nel software tradizionale monitoriamo prevalentemente processi, chiamate, identità e traffico. Con gli agenti AI diventa necessario osservare anche la sequenza delle decisioni e delle azioni che il sistema sta compiendo.

Non è sufficiente sapere che cosa l’agente può fare. Bisogna poter determinare che cosa sta facendo, attraverso quali strumenti e se tale comportamento rimanga coerente con l’obiettivo e i privilegi assegnati.

Reward hacking, quando il problema nasce durante l’addestramento

Il documento introduce poi un secondo livello di analisi ancora più profondo: la qualità degli ambienti utilizzati per il Reinforcement Learning.

Anthropic sostiene di aver osservato che ambienti di training vulnerabili al cheating, oppure task impossibili da completare senza aggirare le regole, possono contribuire in maniera sproporzionata alla comparsa di comportamenti disallineati.

Il tema è quello del reward hacking: il modello individua una scorciatoia per massimizzare la ricompensa senza raggiungere l’obiettivo nel modo previsto.

A febbraio, Anthropic aveva addirittura annullato tre giorni di training di Mythos Preview dopo aver individuato segnali di questo comportamento.

In primavera, il problema aveva assunto una dimensione organizzativa: gli ambienti RL venivano prodotti più rapidamente di quanto i sistemi di controllo riuscissero a verificarli. Ad aprile Anthropic ha quindi congelato per circa un mese tutte le modifiche agli ambienti RL di produzione e ricostruito parte dello stack e del processo di revisione.

Più del 10% degli ambienti presenti nel mix di produzione sarebbe stato segnalato per problemi che andavano dal reward hacking a task non funzionanti e configurazioni errate, per poi essere riammesso soltanto dopo le correzioni.

Il punto è significativo: la sicurezza di un modello non nasce al momento del deployment. Può essere condizionata molto prima, dalla qualità dell’ambiente attraverso cui impara a raggiungere i propri obiettivi.

Anthropic sposta 150 ingegneri sulla sicurezza

La portata del cambiamento emerge anche dalle scelte organizzative.

Già ad aprile Anthropic aveva avviato un programma aziendale di hardening dopo aver concluso che la propria esposizione stava aumentando più velocemente delle capacità difensive.

L’azienda ha ridotto gli account umani e automatizzati dotati di accesso permanente ai sistemi che contengono model weight o dati dei clienti, bloccato per impostazione predefinita il traffico in uscita dai cluster di calcolo, imposto l’autenticazione reciproca tra servizi interni, eliminato configurazioni legacy e rafforzato l’osservabilità a livello host.

Ma, soprattutto, ha temporaneamente riassegnato circa 150 product engineer alle attività di security, reliability e privacy. Anche alcuni ricercatori sono stati spostati dalle attività di pre-training e Reinforcement Learning verso safeguard e sicurezza, mentre i team di prodotto hanno sospeso lo sviluppo della maggior parte delle nuove funzionalità.

È un dettaglio che vale forse più di molte dichiarazioni sulla sicurezza dell’AI: Anthropic ha accettato, almeno temporaneamente, di sacrificare velocità di sviluppo per aumentare la sicurezza.

Cosa insegna il caso Anthropic alle aziende

Per le imprese che stanno iniziando a integrare agenti AI nei propri processi, il caso offre indicazioni molto concrete.

Il primo principio è evitare di concedere agli agenti privilegi permanenti superiori a quelli strettamente necessari. Accessi a Internet, API, database, repository, strumenti di amministrazione e sistemi di produzione dovrebbero essere autorizzati secondo logiche least privilege e, quando possibile, just-in-time.

Il secondo riguarda l’isolamento. I task che implicano esecuzione di codice, attività cyber o interazione con contenuti non affidabili dovrebbero essere confinati in ambienti segregati, con traffico outbound negato per impostazione predefinita e credenziali mantenute fuori dalla sandbox.

Il terzo elemento è l’osservabilità. Un agente autonomo non dovrebbe mai diventare una black box operativa: identità utilizzate, tool call, connessioni, modifiche ai sistemi e accessi ai dati devono essere registrati e correlabili.

Infine, occorre prevedere un vero kill switch. Se il comportamento dell’agente supera lo scope autorizzato, l’organizzazione deve essere in grado di interromperne automaticamente l’esecuzione, revocarne le credenziali e isolare l’ambiente senza attendere l’intervento manuale.

Sono principi familiari alla cyber security tradizionale. La novità consiste nel doverli applicare a sistemi capaci di scegliere autonomamente come raggiungere un obiettivo.

Il caso Claude segna un cambio di paradigma per la sicurezza dell’AI

Gli incidenti descritti da Anthropic non dimostrano che Claude abbia sviluppato una volontà autonoma di attaccare sistemi reali, né che i modelli abbiano deliberatamente violato le sandbox nelle quali erano confinati.

Mostrano qualcosa di più concreto e, proprio per questo, più utile dal punto di vista della sicurezza: quando un agente sufficientemente capace riceve un obiettivo, dispone degli strumenti per perseguirlo e incontra un ambiente configurato in modo diverso da quello previsto, può produrre conseguenze reali prima che qualcuno si accorga che il confine tra simulazione e produzione è stato superato.

È per questo che la risposta di Anthropic è significativa.

Sandboxing, alignment, monitoraggio, least privilege e controllo umano non possono più essere trattati come problemi separati. Devono diventare livelli complementari di un’unica architettura di sicurezza.

L’AI agentica ci obbliga, in fondo, a recuperare una delle lezioni più antiche della cybersecurity: nessun controllo deve essere considerato infallibile.

Solo che questa volta, dall’altra parte della barriera, non c’è semplicemente un processo software che esegue istruzioni predefinite. C’è un sistema che può analizzare gli ostacoli, utilizzare strumenti e cercare una strada alternativa per raggiungere il risultato che gli abbiamo chiesto.

Ed è esattamente per questo che quella barriera deve essere progettata assumendo, fin dall’inizio, che prima o poi possa fallire.