Claude Mythos è stato confermato dai test come leader nella scoperta di vulnerabilità, ma dimostra anche altri svantaggi

Breve riepilogo

La società XBOW ha condotto una valutazione indipendente del modello AI Mythos Preview di Anthropic. I risultati hanno mostrato che il modello supera i suoi analoghi esistenti nella ricerca di vulnerabilità nel codice sorgente e quando lavora con codice nativo e reverse engineering, ma mostra debolezze nell'analisi di codice isolato e nella conferma della praticità delle exploit trovate. Il costo del lavoro del modello rimane una questione: Mythos è più costoso di Opus, tuttavia con un budget limitato di token a volte dimostra una precisione migliore.

1. Cosa ha verificato XBOW
- Volume dei test – serie di esperimenti indipendenti su Mythos Preview.
- Scenari – audit di sistemi operativi con accesso al codice sorgente, analisi di codice isolato, reverse engineering e interazione con l'interfaccia grafica.

2. Conclusioni chiave
Indicatore | Mythos Preview | Modelli opposti
---|---|---
Rilevamento vulnerabilità | Miglior indicatore tra tutti i modelli, soprattutto nel codice sorgente e nella programmazione nativa. | Meno preciso, ma a volte più affidabile quando si verificano casi specifici.
Riduzione falsi positivi | Rimuove più “falsi” scoperte rispetto ai predecessori. | Spesso genera più allarmi falsi.
Problemi con codice isolato | Il modello gestisce peggio senza il contesto del sistema. | Alcuni modelli funzionano meglio con l'analisi lineare.
Conferma exploit | Tende a un approccio letterale, a volte sovrastima il valore pratico delle scoperte. | Più critici sulla reale applicabilità.
Reverse engineering e codice nativo | Fornisce risultati forti; “comprende” bene la logica del programma senza il codice sorgente. | Meno preciso in questi compiti.
Interazione con UI | Non sempre trova esattamente le coordinate degli elementi, ma identifica correttamente le azioni necessarie nel browser. | Alcuni modelli sono più precisi nella posizionamento.

3. Costo ed efficienza
- Prezzi – Anthropic ha dichiarato che Mythos costerà cinque volte di più di Opus.
- Analisi economica – XBOW ha condotto esperimenti con modelli “economici”, dando loro più tempo di lavoro. I risultati hanno mostrato che, normalizzando per costo, il lavoro di Mythos Preview non appare spreco per compiti ad alta precisione.
- Benchmark – Con un budget fisso di token, Mythos supera Opus 4.6 nella ricerca di vulnerabilità web, ma è inferiore a GPT5.5.

4. Sintesi
Mythos Preview dimostra una potenza eccezionale nell'audit del codice sorgente e dei programmi nativi, nonché in compiti di reverse engineering e analisi delle applicazioni web. Tuttavia il modello a volte sottovaluta la reale applicabilità delle vulnerabilità trovate e mostra debolezze nell'analisi isolata del codice. Con risorse token limitate Mythos può essere più vantaggioso rispetto ad Opus, ma con un budget completo GPT5.5 rimane competitivo.

Conclusione di XBOW: Mythos Preview è uno strumento affidabile per identificare potenziali vulnerabilità nel codice sorgente e in sistemi complessi, ma richiede una conferma aggiuntiva del valore pratico delle exploit trovate.