HAL 9000, l’intelligenza artificiale di “2001: odissea nello spazio”, il capolavoro cinematografico di Stanley Kubrick, offre una chiave efficace per leggere l’obbligo di supervisione umana previsto dall’articolo 14 dell’AI Act.

Il Regolamento non richiede una presenza umana meramente formale, ma un controllo effettivo: chi supervisiona deve comprendere limiti e anomalie del sistema, evitare l’automation bias, interpretarne criticamente gli output, poter intervenire fino a ignorarli e correggerli o arrestare il sistema.

Dalla metafora cinematografica alle misure organizzative, ecco perché provider e deployer devono progettare e implementare una supervisione realmente esercitabile, non una semplice controfirma dell’automazione.

HAL 9000 e l’illusione del controllo umano

HAL 9000 è spesso ricordato come l’archetipo dell’intelligenza artificiale che si ribella all’uomo. Ma, a quasi sessant’anni da “2001: odissea nello spazio”, la lettura più utile non è quella della macchina malvagia.

Il vero problema è un altro: HAL governa una missione critica mentre gli esseri umani, pur presenti a bordo, non conoscono tutte le informazioni rilevanti, non possono valutare davvero le sue scelte e recuperano il controllo solo a costo di un intervento estremo.

È qui che la fantascienza incontra l’AI Act. L’articolo 14 del Regolamento europeo impone che i sistemi di IA ad alto rischio siano progettati per poter essere efficacemente supervisionati da persone fisiche durante il loro impiego.

Non basta, dunque, collocare un operatore alla fine del processo o chiedergli di confermare meccanicamente una decisione automatizzata: deve poter comprendere limiti e anomalie del sistema, non seguirne passivamente gli output e, quando necessario, ignorarli, intervenire o interromperne il funzionamento.

L’entità del capolavoro di Kubrick, nata per essere al servizio degli astronauti della missione il cui reale obiettivo è tenuto loro segreto, finisce col diventare una minaccia mortale: rappresenta in modo efficace le conseguenze di una progettazione che concentra funzioni critiche nel sistema senza assicurare agli esseri umani informazioni adeguate e poteri di intervento concretamente esercitabili.

HAL 9000 nel capolavoro di Kubrick

Non solo la macchina è fondamentale per il funzionamento dell’astronave e per l’analisi degli scenari, ma tiene attive, controllandole direttamente, le funzioni vitali di alcuni membri dell’equipaggio in stato di ibernazione: se trasposta nel quadro contemporaneo, l’integrazione di HAL nelle funzioni della navicella renderebbe imprescindibile una valutazione rigorosa dei requisiti applicabili ai sistemi destinati a funzioni critiche e, comunque, mostra con particolare evidenza il tipo di rischio che l’articolo 14 mira a prevenire.

La capacità di HAL di interagire, analizzare scenari, controllare apparati e assumere compiti differenziati non serve qui a ricondurlo forzatamente alle categorie dell’AI Act, ma a mostrare quanto possa essere ampia l’area di rischio quando un sistema è integrato nelle funzioni critiche di una missione.

Dalla metafora alla regola: l’art. 14 dell’AI Act e la supervisione umana

Il caso di HAL consente di comprendere perché un sistema impiegato in un contesto di tale criticità dovrebbe essere pensato secondo un modello di supervisione umana ben diverso da quello rappresentato nel film.

Esso viene progettato, integrato nell’infrastruttura di bordo e messo a disposizione dell’equipaggio, ma senza dare la possibilità di una sorveglianza umana realmente praticabile: quest’ultima, ai sensi dell’articolo 14 del Regolamento, deve essere garantita già dalle fasi di progettazione e sviluppo del sistema in modo tale che il sistema stesso possa essere supervisionato da persone fisiche efficacemente durante tutto il periodo di utilizzo, con l’obiettivo di prevenire o ridurre al minimo i possibili rischi per la salute, la sicurezza o i diritti fondamentali.

Oltretutto, le misure di supervisione devono essere commisurate ai rischi, al livello di autonomia e al contesto di utilizzo del sistema.

Non è un controllo burocratico ex post, ma un requisito che deve emergere ed essere concepito by design, cioè sin dalla progettazione, ed essere reso possibile anche attraverso interfacce uomo-macchina.

Dalla comprensione all’override: cosa significa supervisione effettiva

Il paragrafo 4 del medesimo articolo si preoccupa di chiarire quando la supervisione è effettiva, non coincidendo con la mera presenza di una persona al termine del processo.

Le misure previste dal provider devono consentire al supervisore di: comprendere il sistema e riconoscerne capacità, limiti e anomalie; non affidarsi automaticamente al sistema (automation bias); interpretare criticamente gli output; poter non usare, ignorare o modificare l’esito; fermare il sistema quando la situazione lo richiede.

Solo se tutti questi passaggi sono presenti e praticabili, il controllo umano smette di essere simbolico e diventa informato ed effettivo.

L’illusione di una supervisione umana svuotata

Guardando il film con la lente dell’AI Act, emerge non tanto l’assenza dell’uomo nel processo, quanto l’illusione dell’uomo nel processo che confluisce in una supervisione umana svuotata.

Gli astronauti sono formalmente presenti, ma non dispongono di informazioni sufficienti, non governano i parametri decisionali e incontrano ostacoli materiali quando cercano di riacquisire il controllo: è la differenza tra un modello di human in the loop genuino e un modello di human on the loop puramente ornamentale.

È nella progressione dalla comprensione all’override che prende forma e sostanza la supervisione umana.

Bowman e Poole intercettano alcune anomalie di HAL e si confrontano all’interno di una capsula, convinti di poter discutere senza essere ascoltati. La macchina, tuttavia, legge il loro labiale attraverso il vetro e anticipa il piano di disattivazione.

Nonostante i dubbi emersi, Bowman continua a servirsi del sistema quando esce dalla nave per recuperare il corpo di Poole.

Quando HAL gli nega il rientro, l’override diventa un’operazione estrema: Bowman è costretto a una pericolosa manovra d’emergenza prima di poter disattivare progressivamente i moduli fisici di memoria del sistema.

Il potere di intervento esiste, ma è tardivo, lungo, difficilmente accessibile e pericoloso.

Automation bias e asimmetria informativa

L’automation bias nel film si accompagna all’asimmetria informativa e nasce da una scelta degli sviluppatori e dei deployer, il videomessaggio di uno dei quali viene riprodotto una volta che la macchina è stata staccata da Bowman.

Nell’affidare di fatto una missione critica per l’umanità e per la scienza a una macchina tenendo all’oscuro gli esseri umani presenti, manifestano eccessiva delega, fallimento di governance, cattiva ripartizione delle informazioni e inadeguata progettazione dei controlli.

Il risultato è un controllo umano praticamente inesercitabile, se pensiamo agli
astronauti a bordo come operatori supervisori, oltre che utilizzatori finali.

L’automation bias non è semplice fiducia nel progresso e nella tecnologia e non è un errore algoritmico. Ma è la tendenza della persona incaricata del controllo a fare eccessivo affidamento sull’output della macchina, fino a dare per buono in modo acritico qualsivoglia risultato, ignorando i segnali contrari.

Provider e deployer: una responsabilità condivisa

La garanzia della sorveglianza umana nella governance dei sistemi di IA ad alto rischio non deve essere appannaggio dei singoli operatori, ma deve essere collegata a una responsabilità organizzativa articolata su due livelli inscindibilmente connessi: un sistema può essere tecnicamente e teoricamente arrestabile.

Ma la supervisione non è effettiva se nessuno è autorizzato e formato per farlo, se l’intervento rallenta irragionevolmente il processo o se l’operatore non può comprendere il contesto e le conseguenze della scelta.

Innanzitutto, il provider deve progettare e sviluppare il sistema affinché sia concretamente supervisionabile: interfacce adeguate, informazioni sui limiti,
predisposizione di meccanismi e procedure che consentano intervento, arresto e override.

Il deployer, ai sensi dell’articolo 26 del Regolamento, deve trasformare questa possibilità tecnica in un presidio organizzativo, attraverso l’adozione di misure tecniche e organizzative appropriate, l’uso conforme alle istruzioni, l’attribuzione della supervisione a persone dotate di competenza cui vanno garantiti formazione e supporto adeguati.

Dalla regola alla pratica: come organizzare la supervisione

Per le organizzazioni che impiegano sistemi di IA ad alto rischio, la supervisione umana non può ridursi alla formale individuazione di un responsabile.

Occorre mappare i punti del processo nei quali l’output del sistema incide su decisioni o azioni capaci di produrre effetti su persone, sicurezza o diritti fondamentali; per ciascuno di essi vanno individuati soggetti dotati di competenze, formazione, informazioni e poteri coerenti con il compito attribuito; la formazione, in particolare, dovrà concentrarsi sulle cinque capacità operative elencate dall’articolo 14, paragrafo 4.

Devono essere definite soglie di anomalia, criteri di escalation e modalità per sospendere il sistema, non utilizzare l’output o discostarsene, verificando che tali facoltà siano concretamente praticabili nei tempi richiesti dal contesto operativo.

La tracciabilità delle decisioni, comprese quelle che confermano o contraddicono le raccomandazioni algoritmiche, consente infine di verificare se il controllo umano abbia operato come presidio effettivo o come mera ratifica dell’automazione.

Oltre la controfirma umana

La supervisione umana richiesta dall’AI Act non è l’inserimento di una persona nel flusso decisionale, tanto meno alla fine dello stesso, come semplice controfirma di decisioni già prese dalla macchina.

Richiede invece un controllo umano effettivo, informato e fattualmente esercitabile.
La lezione di HAL 9000, riletta fuori dalla fantascienza, è che il presidio umano fallisce non solo quando la macchina agisce da sola, ma anche quando l’uomo resta nel processo senza poterlo davvero governare, riducendo la sorveglianza a semplice simulacro.