L’impiego di agenti di IA nella cyber security, se basato su dati obsoleti o inaccurati, può portare alla generazione di allucinazioni da parte dell’IA stessa. Tali allucinazioni possono creare vulnerabilità inesistenti o interpretare erroneamente le minacce, generando avvisi non necessari, oltre che rischiare di distogliere risorse dalle minacce autentiche, creando nuove vulnerabilità, oltre che sprecare le risorse preziose, ma limitate, del team di Security Operations (SecOps).

Quel software non esiste

Inoltre, un fenomeno emergente, di particolare preoccupazione, riguarda le cosiddette “allucinazioni delle confezioni” (packaging hallucinations), in cui i modelli di IA suggeriscono pacchetti software inesistenti.

Questo problema rappresenta un potenziale vettore di attacchi alla supply chain, noto come “slopsquatting”. Di fatto, gli aggressori possono sfruttare tali allucinazioni per creare pacchetti dannosi con nomi suggeriti dall’IA, inducendo gli sviluppatori a integrare involontariamente un codice malevolo nei propri sistemi.

Ancora, è fondamentale sottolineare che, se il codice generato dall’IA viene utilizzato senza una verifica approfondita e una convalida manuale, si rischiano rischi e complessità significative. Infine, gli sviluppatori meno esperti, quali gli sviluppatori junior, sono particolarmente vulnerabili ai rischi di errori in termini di codice o di configurazioni, a causa della loro limitata capacità di controllare e validare correttamente i risultati.

Purtroppo, anche tra gli sviluppatori senior, sebbene siano più pronti a individuare eventuali errori, si osserva una crescente tendenza ad affidarsi eccessivamente a strumenti di Generative AI (GenAI), che li porta a fidarsi ciecamente dei loro output.

Un altro aspetto, degno di attenzione, riguarda la possibilità che l’IA produca informazioni false o fuorvianti sulle minacce (i.e. la cosiddetta fake cyber threat intelligence) che, se presi alla lettera, senza una verifica incrociata con fonti affidabili, possono distogliere l’attenzione dalle vulnerabilità reali, compromettendo la capacità di risposta efficace alle minacce effettive.

Allucinazioni e cyber security: cosa ci attende

La cyber security richiede precisione, adattabilità e consapevolezza contestuale. Poiché gli LLM svolgono un ruolo sempre più importante nell’identificazione, nella previsione e nella risposta alle minacce informatiche, il margine di errore diventa pericolosamente ristretto.

Nella sicurezza informatica, le allucinazioni possono manifestarsi come:

• Classificazioni errate del malware
• Falsi indicatori di compromissione (IOC)
• Profili di attori della minaccia fabbricati
• Riepiloghi fuorvianti delle vulnerabilità
• CVE o vettori di attacco inesistenti

È bene sottolineare che, per la sicurezza informatica basata sull’IA, è fondamentale che i modelli non solo elaborino le informazioni in modo accurato, ma comunichino anche in modo trasparente i livelli di incertezza e giustifichino i loro processi decisionali.

Inoltre, le allucinazioni rappresentano anche una sfida per la progettazione di sistemi di intelligenza ibrida, in cui le partnership uomo-IA eseguono complesse analisi delle minacce, con l’LLM che fornisce approfondimenti automatizzati, mentre gli esseri umani implementano misure difensive.

Inoltre, le allucinazioni – oltre a compromettere la fiducia degli utenti, -creano complesse problematiche di responsabilità che incidono sull’integrazione dell’IA.

Di fatto, quando l’IA produce informazioni imprecise, complica gli aspetti di responsabilità e di affidabilità, soprattutto quando gli utenti potrebbero non essere consapevoli che le informazioni sono inventate.

Pertanto, il problema delle allucinazioni dell’IA nella cybersecurity necessita di implementare strategie efficienti per limitare il problema.

Strategie per mitigare le allucinazioni dell’IA

Le allucinazioni dell’IA sono un sottoprodotto atteso dei modelli probabilistici, quindi, l’attenzione non dovrebbe essere rivolta a eliminarle completamente, ma a ridurre al minimo le interruzioni operative, oltre che limitarne l’impatto operativo attraverso la progettazione, il monitoraggio e le policy. Ovvero, si consiglia di:

Implementare un framework di fiducia strutturato dei sistemi di AI – Si tratta di adottare un approccio che includa un middleware pratico per controllare input e output attraverso controlli deterministici e filtri specifici del dominio, garantendo che i modelli non funzionino in isolamento, ma entro limiti chiaramente definiti che riflettono le esigenze aziendali e le posizioni di sicurezza.

Garantire la tracciabilità – Tutte le risposte generate dall’IA devono contenere metadati, tra cui: il contesto di origine, la versione del modello, la struttura del prompt e il timestamp (i.e. il record digitale della data e dell’ora in cui si è verificato un evento). Tali i metadati consentono audit più rapidi ed analisi delle cause principali quando si verificano imprecisioni, convertendosi in una salvaguardia fondamentale se l’output dell’IA è integrato nelle operazioni aziendali o negli strumenti rivolti ai clienti.

Inoltre, si consiglia alle organizzazioni che implementano LLM di evitare la generazione a tempo indeterminato, a meno che non sia necessario, privilegiando, invece, la RAG (Retrieval-Augmented Generation), basata su basi di conoscenza interne affidabili. Ciò garantisce che il modello attinga da informazioni verificate e mantenga la coerenza con gli standard interni.

Investire nell’IA spiegabile – Optare per soluzioni di IA che garantiscano trasparenza nei processi decisionali. Comprendere la logica alla base di una raccomandazione aiuta a identificare e a correggere le allucinazioni.

Prevedere una fase di test – Gli strumenti di rilevamento delle allucinazioni dovrebbero essere incorporati durante le fasi di test. Ovvero, i responsabili della sicurezza -prima che un modello entri in contatto con un ambiente live – devono definire le soglie per le modalità di rischio e di errore accettabili, considerando che l’obiettivo non è l’accuratezza perfetta, ma un controllo misurabile e verificabile su dove e come viene utilizzata l’IA generativa.

Prevedere la modellazione delle minacce e consapevolezza contestuale – Verificare le raccomandazioni dell’IA con i modelli di minaccia esistenti e assicurarsi che siano in linea con la tolleranza al rischio e gli obiettivi di sicurezza dell’organizzazione.

Aggiornare regolarmente i dati di addestramento –Si tratta di garantire che i sistemi di IA siano addestrati su dati aggiornati e accurati per ridurre al minimo il rischio di allucinazioni. Di fatto, le allucinazioni dell’IA si verificano spesso quando si utilizzano dati contaminati, ovvero quando i dati di addestramento contengono errori o inesattezze. Ad esempio, un modello addestrato su dati che includono minacce alla cyber security – che in seguito si sono rivelate false segnalazioni – potrebbe identificare una minaccia in modo non accurato.

Integrare il fact-checking nel processo – A fronte dell’attuale livello di maturità degli strumenti di IA Gen, è probabile che le allucinazioni legate all’IA facciano parte del processo. Pertanto, le organizzazioni dovrebbero presumere che in questa fase possano essere restituiti errori o informazioni inaccurate. Ne consegue che le organizzazioni, devono implementare un processo di fact-checking per garantire che tutte le informazioni restituite siano accurate prima che i dipendenti agiscano, riducendo l’impatto delle allucinazioni sull’attività.

Prevedere cicli di feedback continui – Monitorare e perfezionare regolarmente gli strumenti di IA in base alle prestazioni reali, consentendo loro di adattarsi alle minacce e agli ambienti in continua evoluzione.

Incorporare la supervisione umana – Gli esperti umani dovrebbero sempre controllare i risultati prodotti dall’IA, specialmente in situazioni ad alto rischio. La loro supervisione permette di individuare errori che l’IA potrebbe non notare e aggiungere un contesto importante che l’IA potrebbe non riuscire a fornire da sola. Pertanto, si tratta di implementate un approccio che coinvolga l’uomo nel processo decisionale, in cui gli output critici siano convalidati da esperti di sicurezza.

Educare gli utenti sui limiti dell’IA – Si tratta di formare gli utenti a comprendere le capacità e i limiti dell’IA, favorendo una sana “ragion critica” nei confronti dei risultati dell’IA, oltre ad incoraggiarli a verificare le informazioni generate dall’IA per prevenire la diffusione di imprecisioni.

Conclusione

L’IA è uno strumento, non un sostituto delle competenze umane. Sebbene l’IA migliori la nostra capacità di rilevare, rispondere e prevenire le minacce informatiche, non è infallibile.

Pertanto, affrontare le allucinazioni dell’IA richiede un approccio proattivo, che combini i progressi tecnologici con solidi principi di sicurezza. Ovvero, si tratta di promuovere una “partnership” tra intelligenza umana e IA per costruire sistemi non solo più intelligenti, ma anche più affidabili.

L’obiettivo non è solo sfruttare l’IA, ma farlo in modo responsabile, assicurandoci che rafforzi il nostro sistema di sicurezza anziché introdurre nuove vulnerabilità.