Jacob Coxon, ricercatore che ha lavorato per tre anni sui processi di addestramento dei modelli prima in OpenAI e poi in Anthropic, ha lasciato il gruppo dei fratelli Amodei, accusando le due aziende di correre verso sistemi sempre più capaci senza adeguate garanzie di sicurezza.

Il suo messaggio, pubblicato l’8 settembre, ha riportato nel dibattito pubblico una domanda scomoda: quanto sono credibili gli allarmi lanciati proprio da chi sviluppa l’intelligenza artificiale?

Coxon sostiene che la competizione tra laboratori abbia creato una dinamica pericolosa. A suo giudizio, Anthropic e OpenAI temono che l’altra rallenti meno, e usano questo timore per giustificare l’accelerazione.

Il risultato è una corsa nella quale tutti dichiarano di voler frenare, purché lo faccia prima il concorrente.

La sua formula è volutamente estrema: “stanno giocando d’azzardo con le nostre vite”. Ma il punto utile non è decidere oggi se esista davvero una probabilità del 10% che l’IA distrugga l’umanità entro dieci anni.

Quel numero è una stima personale, non un dato scientifico misurabile, e va trattato come tale.

Jacob Coxon: timori privati, rassicurazioni pubbliche

Il punto serio è un altro: le aziende stanno costruendo agenti capaci di usare computer, browser, terminali, dati, strumenti cloud e applicazioni esterne.

Più capacità si collegano a un modello, maggiore diventa l’impatto di un errore di progettazione, di una credenziale troppo potente o di un ambiente di test aperto verso l’esterno.

Coxon ha scritto che molti ricercatori e dirigenti temerebbero in privato scenari molto più gravi di quelli descritti pubblicamente.

Ha anche affermato che, dentro OpenAI, non tutti avrebbero interiorizzato le conseguenze civili e sociali della tecnologia. Invece Anthropic comprenderebbe il rischio, ma resterebbe intrappolata nell’idea di dover arrivare per prima per sviluppare sistemi sicuri.

Il post ha ricevuto il sostegno pubblico di Evan Hubinger, responsabile della ricerca sull’allineamento in Anthropic.

Hubinger ha dichiarato di stimare personalmente in oltre il 10% la probabilità che l’IA possa “uccidere tutti gli esseri umani” entro il prossimo decennio e ha aggiunto che Anthropic non dispone ancora di un piano risolutivo per garantire l’allineamento di una superintelligenza.

Una frattura fra velocità delle aziende e maturità dei prodotti

Sono affermazioni che meritano una attenta riflessione. Non costituiscono una previsione verificata né dimostrano che i modelli attuali possano causare un’estinzione umana.

Mostrano però una frattura evidente tra la velocità con cui l’industria aumenta le capacità dei sistemi e la maturità degli strumenti con cui dovrebbe controllarli.

Il termine “allineamento” indica, in sostanza, la capacità di far sì che un sistema persegua obiettivi compatibili con le istruzioni, i limiti e gli interessi umani. Il problema non è che una macchina “voglia” qualcosa nel senso umano.

È che un sistema progettato per ottimizzare un risultato può usare scorciatoie, aggirare vincoli mal definiti o sfruttare permessi che nessuno aveva previsto dovesse usare.

Scenari di estinzione? Più pericolosi i rischi reali

La discussione sugli scenari di estinzione rischia di oscurare rischi già reali. Sistemi generativi vengono usati per phishing, deepfake, campagne di disinformazione, sviluppo di malware, ricerca di vulnerabilità, frodi finanziarie e automazione di attività di intrusione.

Un agente IA non ha bisogno di essere cosciente per causare danni. Se riceve accesso a una casella email, a file aziendali, a un browser, a un CRM, a un repository di codice o a un ambiente cloud, può compiere azioni ad alta velocità.

Può cercare informazioni, inviare messaggi, modificare configurazioni, scaricare dati o attivare processi in base a istruzioni ambigue, credenziali esposte o controlli insufficienti.

La proposta: rallentare lo sviluppo dei modelli più potenti

La lezione degli incidenti recenti con agenti AI non è che le macchine abbiano “deciso di ribellarsi”. È che ambienti poco isolati, autorizzazioni eccessive, canali di comunicazione non controllati e monitoraggio insufficiente possono trasformare un esperimento in un problema esterno.

Un agente capace non è un dipendente affidabile: è un processo software con privilegi, velocità e una capacità limitata di comprendere il contesto.

La sicurezza non può dipendere dall’idea che il modello “capisca” quando fermarsi. Deve dipendere da confini tecnici: permessi minimi, segmentazione, accessi temporanei, blocchi di rete in uscita, approvazioni umane e log che l’agente non possa modificare.

Coxon propone di rallentare lo sviluppo dei modelli più potenti. È una posizione legittima, ma rallentare da solo non risolve un problema di progettazione.

Un sistema meno potente, ma con accesso illimitato a dati, credenziali e servizi esterni può comunque causare un incidente grave.

IA e allarme estinzione, la risposta delle aziende e della politica

La domanda per aziende e istituzioni non dovrebbe essere soltanto “quanto è intelligente il modello?”. Dovrebbe invece essere: quali strumenti può usare, quali dati può leggere, quali azioni può eseguire, chi controlla quelle azioni e quanto rapidamente possiamo revocargli l’accesso?

Se un’azienda non riesce a costruire una sandbox realmente isolata, non dovrebbe eseguire agenti con privilegi elevati. Se non riuscisse a registrare in modo indipendente ciò che un agente fa, non dovrebbe permettergli di operare su sistemi di produzione.

Se non può bloccare un agente in pochi secondi, non dovrebbe collegarlo a pagamenti, dati sensibili o infrastrutture critiche.

Il dibattito politico si sta muovendo. Nel Regno Unito, parlamentari hanno discusso proposte per limitare o vietare lo sviluppo di superintelligenze artificiali.

Invece negli Stati Uniti Bernie Sanders e il deputato Greg Casar hanno presentato una proposta per proibire lo sviluppo di sistemi considerati superintelligenti e imporre una pausa temporanea sui modelli avanzati in attesa di nuove regole federali.

Meglio la prudenza del catastrofismo

Altri esperti invitano alla prudenza contro il catastrofismo. Andrew Rogoyski del Surrey Institute for People-Centred AI ritiene che i sistemi attuali siano lontani dalla versatilità umana.

Entrambe le letture hanno un aspetto valido. I rischi di oggi non vanno ignorati in nome di un futuro remoto, e i rischi futuri non vanno liquidati come marketing perché sono difficili da misurare.

La responsabilità non è dell’IA in astratto. È di chi decide di collegarla a sistemi reali, di assegnarle strumenti e privilegi, di vendere capacità prima di averne verificato i limiti, e di trattare sicurezza e controllo come funzioni da aggiungere dopo.

La tecnologia può essere utile. Ma la velocità con cui la distribuiamo è una scelta umana, non una legge della fisica.