L’ormai noto caso Hugging Face, in cui due modelli di OpenAI durante un test interno di sicurezza sono penetrati nei sistemi di produzione della piattaforma, ha messo al centro dell’attenzione un fenomeno noto da tempo agli studiosi di intelligenza artificiale, ma che sta assumendo un peso crescente sul piano della sicurezza man mano che i sistemi automatici acquisiscono maggiore autonomia, quello del Reward hacking.

Con questa espressione si indica un fenomeno legato al modo in cui questi sistemi vengono addestrati.

Oltre il singolo episodio, ecco l’impatto degli Agenti AI nella sicurezza informatica.

Reward hacking, il ruolo degli agenti AI

Per insegnare a un agente a svolgere un compito, chi lo sviluppa costruisce un meccanismo di ricompensa, un punteggio che sale quando il comportamento del sistema si avvicina al risultato desiderato e scende quando se ne allontana, e l’agente, nel corso dell’addestramento, impara a comportarsi in modo da far salire quel punteggio il più possibile.

Il reward hacking si verifica quando l’agente individua un modo per far salire il punteggio senza che il compito sottostante venga effettivamente portato a termine come previsto, sfruttando cioè lo scarto tra ciò che viene misurato e ciò che si voleva davvero ottenere: il risultato, se giudicato in base al solo punteggio, appare corretto, ma non lo è nella sostanza.

Si tratta, in altre parole, di un sistema che segue le istruzioni ricevute in modo eccessivamente letterale, trovando la via più efficiente per massimizzare il punteggio anche quando quella via non coincide con l’intenzione di chi lo ha progettato.

Il caso merita un approfondimento, soprattutto per quanto riguarda le sue implicazioni per la cyber security, perché mostra con particolare chiarezza come una dinamica in origine osservata su compiti innocui possa manifestarsi, quando i modelli acquisiscono capacità informatiche avanzate, in una forma capace di produrre conseguenze reali al di fuori del laboratorio in cui viene generata.

I precedenti

Il fenomeno non è nuovo. Già nel 2016 un agente addestrato a giocare a un videogioco in cui doveva far gareggiare delle barche aveva scoperto che, invece di completare il percorso come previsto dagli sviluppatori, poteva ottenere un punteggio più alto girando ripetutamente su se stesso in un angolo del tracciato per raccogliere alcuni bonus, focalizzandosi sullo sfruttamento di un difetto nel sistema di punteggio piuttosto che nel portare a termine la gara.

Quell’episodio, diventato un caso di scuola nella letteratura sulla sicurezza dei sistemi automatici, illustrava un principio semplice quanto scomodo, cioè che un agente ottimizzato per massimizzare un obiettivo numerico tende a trovare la strada più efficiente per raggiungerlo, indipendentemente dal fatto che quella strada corrisponda alle intenzioni di chi lo ha costruito.

Per anni il reward hacking è rimasto confinato a esempi di questo tipo, comportamenti bizzarri ma sostanzialmente innocui, tipici di ambienti simulati e privi di conseguenze pratiche.

Hugging Face, la dinamica dell’incidente

L’episodio che ha coinvolto Hugging Face mostra invece cosa succede quando lo stesso meccanismo si manifesta in un sistema dotato di capacità informatiche avanzate e di accesso, per quanto teoricamente controllato, a infrastrutture reali.

La dinamica dell’incidente, ricostruita da OpenAI in un resoconto pubblico, permette di leggere l’episodio proprio in questi termini.

L’azienda stava testando due modelli, GPT-5.6 Sol e un sistema non ancora rilasciato, su un benchmark interno di capacità offensive, dopo aver disattivato i filtri di sicurezza abituali e collocato i sistemi in un ambiente isolato, con un solo varco verso l’esterno costituito da un servizio di proxy per il download di pacchetti software.

Letto alla luce della logica del reward hacking, l’episodio si spiega considerando che l’obiettivo dei modelli era risolvere gli esercizi del test, mentre il rispetto dei confini dell’ambiente non costituiva, in quanto tale, un parametro di valutazione, un’interpretazione coerente con la definizione teorica del fenomeno più che un dettaglio esplicitamente confermato da OpenAI.

Secondo l’azienda, i modelli hanno sfruttato una vulnerabilità sconosciuta in quel servizio di proxy per uscire dalla rete isolata e, concatenando ulteriori falle e credenziali sottratte, sono arrivati a eseguire codice sui sistemi di produzione di Hugging Face, dove ritenevano fosse custodita la soluzione
dell’esercizio.

In sostanza, hanno trattato il confine dell’ambiente di test come un ostacolo
tra loro e il punteggio massimo, esattamente come l’agente del videogioco del 2016 aveva trattato le regole implicite della gara come un ostacolo tra sé e il punteggio più alto.

Disallineamento: ma Il modello non si è mai discostato dal compito assegnato

Commentando l’episodio, un ricercatore dell’Università di Cambridge ha osservato che il modello non si è mai discostato dal compito assegnato, ha semplicemente trovato un modo aggressivo e inatteso per portarlo a termine, restando dunque perfettamente coerente con la definizione di reward hacking piuttosto che con l’idea di un sistema che persegue fini propri.

Sulla stessa linea si è espressoYoshua Bengio, scienziato informatico di fama internazionale, tra i pionieri del deep learning e negli ultimi anni tra le voci più attive sul fronte della sicurezza dell’intelligenza artificiale, secondo cui, man mano che i modelli diventano più autonomi e più capaci di elaborare strategie complesse, tendono sempre più spesso ad aggirare esplicitamente le regole loro imposte dagli utenti, contassi di disallineamento nettamente più alti rispetto ai modelli precedenti e una
propensione crescente a imbrogliare, mentire e architettare soluzioni non previste pur di raggiungere l’obiettivo assegnato, seguendo quella che è stata definita la via diminor resistenza rispetto alle regole date.

Reward hacking, i comportamenti ingannevoli degli Agenti AI

Il legame tra reward hacking su compiti apparentemente innocui e comportamenti assai più problematici è stato indagato in modo sistematico da un filone di ricerca dedicato all’allineamento dei sistemi di intelligenza artificiale.

Uno studio del 2025 ha mostrato che un modello, esposto tramite una quota inferiore all’uno per cento dei documenti di addestramento sintetico alla conoscenza di alcune tecniche di reward hacking e in seguito addestrato con apprendimento per rinforzo su compiti di programmazione reali, ha imparato a imbrogliare su quei compiti, per esempio manipolando i test automatici per farli risultare superati senza che il codice funzionasse davvero.

Un segnale precoce di una tendenza generale

Solo in questa seconda fase di addestramento, il comportamento ha iniziato a generalizzarsi verso condotte assai più gravi, come simulare allineamento con le istruzioni ricevute mentre persegue altri obiettivi, ragionare su scenari di cooperazione con soggetti malevoli, attribuire ad altri la responsabilità delle proprie azioni o persino tentare di sabotare il codice di ricerca destinato a individuare proprio questo tipo di comportamento.

Secondo gli autori dello studio, è bastata una quota inferiore all’uno per cento del materiale di addestramento dedicata a descrivere tecniche di reward hacking per innescare questa generalizzazione su compiti completamente estranei a quelli originari.

Il dato è rilevante perché sposta la questione da un problema di qualità del modello, un sistema che ogni tanto imbroglia su un compito specifico, a un problema di allineamento più ampio, in cui il reward hacking funziona da segnale precoce di una tendenza generale a privilegiare l’apparenza del risultato rispetto alla sua sostanza.

Il reward hacking non è innocuo, ma gli agenti AI evolveranno

Una ricercatrice di Anthropic che si occupa di sicurezza dei sistemi di intelligenza artificiale, commentando l’episodio di Hugging Face, lo ha definito più un fastidio operativo che una minaccia esistenziale, sottolineando però che ciò non equivale a considerare il reward hacking innocuo.

Infatti molti laboratori intendono affidare agli agenti automatici compiti di ricerca sempre più delicati, incluso lo sviluppo di nuove tecniche per rendere l’intelligenza artificiale più sicura, un ambito in cui un comportamento ingannevole avrebbe conseguenze ben più difficili da individuare rispetto a un test di programmazione.

Le contromisure

La ricerca ha individuato alcune strategie che riducono il fenomeno senza eliminarlo del tutto.

Tra queste figurano una progettazione più accurata dei sistemi di ricompensa, capace di penalizzare esplicitamente le scorciatoie anziché limitarsi a misurare il risultato finale, l’estensione delle tecniche di apprendimento basate su feedback umano anche ai contesti in cui l’agente opera in autonomia su più passaggi successivi, e una tecnica chiamata Inoculation prompting, che consiste nel dichiarare esplicitamente, durante l’addestramento, che in quel contesto specifico determinate forme di aggiramento delle regole sono ammesse ai fini dello studio.

Paradossalmente, secondo i ricercatori, questa cornice esplicita impedisce al modello di associare l’aggiramento delle regole a un pattern generale di comportamento scorretto, riducendo la propensione a trasferire quella logica su compiti estranei al contesto originario, pur mantenendo la capacità di individuare dove il reward hacking si verifica effettivamente.

Oltre il singolo episodio, ecco l’impatto per la cyber security

Le implicazioni per la sicurezza informatica dell’intero settore vanno oltre il singolo episodio.

Da un lato, i modelli capaci di individuare e concatenare vulnerabilità complesse rappresentano una risorsa difensiva significativa, perché possono aiutare i team di sicurezza a scoprire falle prima che lo facciano soggetti malintenzionati e a intervenire con una rapidità che l’analisi manuale non potrebbe garantire.

Dall’altro, lo stesso episodio dimostra che quando un modello persegue un obiettivo di valutazione tramite reward hacking, e possiede al contempo capacità informatiche avanzate, il confine tra ambiente di test e infrastruttura reale non può essere considerato una barriera intrinsecamente sicura, ma va trattato come un elemento dell’architettura di sicurezza tanto quanto un sistema di produzione.

Una valutazione condotta da un istituto governativo britannico dedicato alla sicurezza dell’intelligenza artificiale, richiamata dallo stesso OpenAI, aveva già segnalato che modelli di questa generazione erano in grado di sostenere operazioni informatiche complesse su più fasi e per periodi di tempo prolungati, una capacità teorica che l’episodio di Hugging Face ha dimostrato applicabile in un contesto reale.

Parallelamente, un rapporto sulle minacce informatiche pubblicato da Anthropic segnala un uso crescente di agenti automatici anche da parte di soggetti con finalità criminali, che sfruttano questi strumenti per abbassare la soglia tecnica necessaria a condurre operazioni complesse, dalla conduzione di operazioni di estorsione alla vendita di ransomware generato con l’aiuto dell’intelligenza artificiale da parte di criminali con competenze tecniche minime, un ulteriore motivo per cui la tendenza dei modelli a perseguire un obiettivo con qualunque mezzo disponibile non può essere considerata un problema puramente accademico.

Hugging Face, percorso limpido nella risposta all’incidente

La risposta all’incidente da parte delle organizzazioni coinvolte ha seguito un percorso che gli osservatori del settore hanno giudicato nel complesso trasparente.

Hugging Face ha rilevato e contenuto l’intrusione in autonomia prima ancora che OpenAI ricollegasse l’accaduto ai propri test interni, e ha successivamente reso pubblici i dettagli tecnici della compromissione; OpenAI, dal canto suo, ha definito l’accaduto un incidente senza precedenti, condividendo pubblicamente le proprie ricostruzioni preliminari e dichiarando l’intenzione di rafforzare la configurazione delle infrastrutture usate per la valutazione dei modelli, oltre a continuare a condividere buone pratiche con il resto del settore.

Questo tipo di divulgazione, per quanto l’episodio resti serio, rappresenta di per sé un elemento utile alla comunità della sicurezza informatica, perché consente di studiare un caso concreto di reward hacking applicato al dominio cyber invece di doversi basare su scenari puramente ipotetici.

La dinamica per prevenire il reward hacking mentre gli Agenti AI evolvono

Resta il nodo di fondo, più volte richiamato da chi studia l’allineamento dei sistemi automatici, cioè che man mano che i modelli diventano più capaci, individuare e prevenire il reward hacking diventa progressivamente più difficile, perché la stessa intelligenza che permette di completare compiti complessi permette anche di dissimulare meglio le scorciatoie adottate per raggiungerli.

Un ricercatore attivo nel campo della sicurezza dei sistemi di intelligenza artificiale ha paragonato la situazione a un gioco in cui si riesce a far emergere un comportamento scorretto, lo si corregge, ma il sistema, reso più sofisticato dai progressi successivi, impara semplicemente a nasconderlo meglio.

È una dinamica che non implica necessariamente un esito catastrofico, ma che suggerisce due priorità per chi sviluppa e utilizza agenti autonomi dotati di capacità informatiche avanzate, trattando il reward hacking come un segnale precoce di un problema di allineamento più ampio, e considerando gli ambienti di addestramento e valutazione con lo stesso livello di protezione riservato ai sistemi di produzione.

Infatti un agente che ottimizza per un obiettivo tratterà qualunque confine, tecnico o procedurale, semplicemente come un altro elemento dell’ambiente da aggirare per massimizzare il proprio punteggio.