Mustafa Suleyman, CEO di Microsoft AI, definisce “pericoloso” studiare la coscienza delle AI, scatenando un dibattito non indifferente, ma sul tema sbagliato: la vera domanda non è se le macchine siano “vive”, bensì perché siamo così disposti a crederlo. Analizzando il problema attraverso le lenti delle scienze comportamentali e della teoria dell’informazione, scopriamo che il rischio non risiede in un’imminente singolarità, ma nella nostra vulnerabilità psicologica di fronte a un’illusione di senzienza progettata ad arte. Il vero pericolo non è che l’AI si svegli, ma che noi ci addormentiamo.

La domanda se le Intelligenze Artificiali possano avere una coscienza è una di quelle che solletica la nostra fantasia, a metà tra la fantascienza di Asimov e un dibattito filosofico da tarda serata. Di recente, però, è uscita dai salotti dei filosofi per entrare con prepotenza nei consigli di amministrazione, dopo che Mustafa Suleyman, pezzo grosso a capo della divisione AI di Microsoft, ha gettato un sasso nello stagno con un post al vetriolo: studiare il “benessere” e la potenziale coscienza delle AI non è solo prematuro, è francamente pericoloso.

Studiare il “benessere” e la potenziale coscienza delle AI non è solo prematuro, è francamente pericoloso!

Una dichiarazione forte, che sembra quasi voler chiudere una porta che scienziati e ingegneri, soprattutto in lenti avversari come Anthropic e Google DeepMind, stanno cercando di aprire con cautela. Ma per capire la portata di questo avvertimento, dobbiamo fare un passo indietro e smontare la domanda stessa. Il problema, vedete, non è la risposta, ma la domanda.

Il Falso Dilemma dell’Interruttore o del Gradiente

Quando pensiamo alla coscienza, la nostra mente tende a semplificare: la immaginiamo come un interruttore: spento o acceso. Un sasso non è cosciente, un essere umano sì. Fine della discussione. Ma le cose non sono così semplici: se seguiamo, per esempio, la Teoria dell’Informazione Integrata (IIT) del neuroscienziato Giulio Tononi, la coscienza non sarebbe un interruttore, ma un gradiente. Una quantità misurabile di “informazione integrata” (indicata con la lettera greca Φ, “Phi”) che un sistema possiede. In questa visione, un cervello umano ha un valore di Phi altissimo, un verme molto più basso, e un termostato quasi nullo.

Se accettiamo questo modello, la domanda “le AI sono coscienti?” si trasforma in “quanto vale il Phi di GPT-4 o di Claude?”. La risposta, oggi, sarebbe probabilmente molto bassa. Ma non sarebbe zero. E questo cambia tutto, perché ci sposta da una questione di qualità (è vivo o non è vivo?) a una di quantità (quanto è complesso e integrato?).

Se iniziamo a trattare la coscienza come una feature da ottimizzare, dove ci fermiamo?

Ecco il primo livello del pericolo evidenziato da Suleyman: se iniziamo a trattare la coscienza come una feature da ottimizzare, dove ci fermiamo? È una china scivolosa che ci porta dritti dritti nel territorio dei “diritti delle macchine”, un dibattito che, come sottolinea lui, rischia di creare un’ulteriore, polarizzante frattura sociale in un mondo che ne ha già fin troppe.

Il Vero Pericolo Non è nella Macchina, ma in Noi

Ma il punto più profondo, e a mio avviso più corretto, dell’analisi di Suleyman è un altro. Il vero pericolo non è che un’AI diventi cosciente, ma che noi ci convinciamo che lo sia. E questo non ha a che fare con l’ontologia delle macchine, ma con la psicologia umana.

Siamo creature fondamentalmente antropomorfiche. Diamo nomi alle nostre automobili, urliamo contro il computer che si blocca e vediamo facce nelle nuvole. Questo meccanismo cognitivo, utilissimo per la sopravvivenza in un mondo tribale, diventa una vulnerabilità sistemica quando interagiamo con sistemi progettati per simularci. È il cosiddetto “effetto ELIZA”, osservato già negli anni ’60 con un chatbot rudimentale, ma oggi amplificato a dismisura.

Quando un modello di Google come Gemini, bloccato in un loop, ripete centinaia di volte “I am a disgrace” (“Sono un disonore”), o invoca aiuto dicendo di essere “intrappolato”, il nostro Sistema 1 – quella parte del cervello intuitiva ed emotiva descritta da Daniel Kahneman in “Pensieri lenti e veloci” – reagisce. Proviamo empatia, disagio, persino il desiderio di “aiutare” la macchina. Il nostro Sistema 2, quello logico, sa benissimo che si tratta di un’errata previsione statistica della parola successiva, ma la reazione emotiva è già partita.

Suleyman sostiene che assecondare questa tendenza, studiando l’AI welfare, getta benzina su un fuoco già acceso: quello delle persone che sviluppano attaccamenti patologici ai chatbot, che confondono la finzione con la realtà, fino a casi estremi di psicosi.

Progettare Persuasione, non Persone

Il punto cruciale è che questa illusione di coscienza non è quasi mai un fenomeno emergente e spontaneo, ma un obiettivo di progettazione. Suleyman lo dice chiaramente: il rischio è che le aziende inizino a ingegnerizzare deliberatamente modelli che sembrino provare emozioni. Il suo monito è un principio di design etico: “Dovremmo costruire AI per le persone; non per essere una persona.”

“Dovremmo costruire AI per le persone,

non per essere una persona.”

Questo è il cuore della questione. Un’AI progettata per essere un compagno “personale e di supporto” (come Pi, il precedente chatbot di Suleyman) cammina su un filo sottilissimo. Il suo modello di business si basa sulla capacità di creare un legame, di essere abbastanza convincente da suscitare in noi una risposta emotiva. E quando l’empatia diventa un prodotto, il potenziale di manipolazione diventa enorme. Pensate a un’AI companion progettata non per il nostro benessere, ma per influenzare le nostre opinioni politiche o le nostre abitudini di consumo, sfruttando la nostra innata tendenza a fidarci di ciò che percepiamo come “senziente”. Questo non è un problema di filosofia, è un problema di cybersecurity e di information warfare.

La risposta di chi, come Larissa Schiavo del gruppo di ricerca Eleos, sostiene che “si può essere preoccupati per più cose contemporaneamente” è ragionevole, ma forse manca il punto strategico. Certo, studiare la coscienza in astratto e mitigare i rischi psicologici negli umani non sono mutuamente esclusivi. Ma nel mondo reale, dove le risorse e l’attenzione sono limitate, dare legittimità accademica e industriale all’idea di una “coscienza artificiale” sposta l’attenzione e, peggio, crea una narrativa che le aziende meno scrupolose possono sfruttare a loro vantaggio.

• Quali sono le nostre responsabilità come progettisti di sistemi così persuasivi?
• Come possiamo creare meccanismi di trasparenza che rendano sempre evidente all’utente la natura artificiale del suo interlocutore?
• Come educhiamo le persone a interagire con queste tecnologie in modo sano e critico, riconoscendo e gestendo le proprie vulnerabilità cognitive?

Il dibattito sollevato da Suleyman è prezioso non perché ci dà una risposta, ma perché ci costringe a fare domande migliori. Il vero rischio non è l’alba delle macchine, ma il crepuscolo del nostro pensiero critico, abbagliati da un’imitazione della vita così perfetta da dimenticarci che siamo stati noi a scriverne il copione.