Cisco ha scoperto le ragioni per cui persino i rapporti sull'intelligenza artificiale sui cyberincident sembrano perfetti non dovrebbero essere considerati verità.

Cisco Talos studia l’accuratezza dei grandi modelli linguistici nella creazione di rapporti cyber

Il team Cisco Talos Incident Response ha condotto un test per capire quanto siano affidabili i moderni LLM (ChatGPT, Claude e Gemini) nel generare rapporti tecnici su incidenti informatici. I risultati hanno mostrato che anche i documenti più “professionali” contengono errori fattuali, contraddizioni e incongruenze.

Come è stato condotto lo studio
* Preparazione – gli ricercatori hanno fornito a ciascun modello appunti grezzi sull’incidente chiedendo di redigere un rapporto.

* Output – i tre LLM hanno prodotto documenti visivamente curati, ma un’analisi dettagliata ha rivelato imprecisioni e conclusioni inaspettate.

Nate Pors, senior manager del dipartimento Incident Response di Cisco Talos, ha descritto approfonditamente i risultati sul blog aziendale.

Perché gli LLM “fanno errori”
Cisco spiega che i problemi derivano dalla natura probabilistica dei modelli: prevedono la parola successiva basandosi su pesi statistici, non comprendendo il significato. Secondo Pors, le distorsioni si manifestano in quattro direzioni:

1. Fragmenti di dati diversi
Ogni richiesta fa affidamento su parti diverse dell’input, rendendo impossibile ottenere risultati riproducibili e standardizzati.

2. Conclusioni incoerenti
Gli stessi dati possono portare a raccomandazioni differenti: un rapporto potrebbe suggerire la forzatura del cambio password in tutta l’organizzazione, mentre un altro solo cambiamenti puntuali. Il modello tende spesso a fissarsi sulla prima raccomandazione generata, anche se non è adatta.

3. Struttura non standard
Poiché gli LLM costruiscono il testo token per token, i documenti finali possono avere strutture e formati diversi, critico in un ambiente che richiede modelli di controllo qualità.

4. Problemi della finestra contestuale
Con volumi di input superiori al limite di contesto, il modello può “dimenticare” informazioni importanti all’inizio della sessione e produrre risultati imprevedibili o misti.

Cosa significa per la sicurezza informatica
Cisco riconosce che teoricamente si potrebbe limitare l’attività a un frammento specifico del rapporto, ma questo approccio priverebbe gli utenti di risparmio di tempo. Nel campo della cyber‑protezione anche un piccolo errore può costare caro. Pertanto i redattori dei documenti finali devono verificare attentamente ogni parola e non affidarsi completamente ai consigli degli LLM.

Conclusione: i grandi modelli linguistici possono generare rapidamente rapporti, ma le loro conclusioni richiedono una verifica obbligatoria da parte di specialisti per evitare errori e incongruenze in contesti critici di incidenti informatici.