DeepSeek ha presentato V4-Flash-Vision-Exp, un modello multimodale sperimentale che estende le capacità del precedente V4-Flash introducendo la possibilità di analizzare immagini e screenshot e di agire sulla base di ciò che vede. Il modello è già disponibile attraverso l’API di DeepSeek ed è accompagnato dalla versione 0.1.1 dell’agent harness dell’azienda, che integra il supporto necessario per le nuove funzioni.

Il dato più interessante riguarda le prestazioni. DeepSeek sostiene che V4-Flash-Vision-Exp abbia compiuto un importante passo avanti nei benchmark dedicati agli agenti multimodali, arrivando vicino a Claude Opus 4.8. In realtà, Anthropic ha successivamente introdotto Opus 5, ma DeepSeek non ha inserito quest’ultimo nel proprio confronto. Di conseguenza non esiste ancora un dato pubblico che permetta di stabilire quanto V4-Flash-Vision-Exp sia competitivo rispetto al modello Anthropic più recente.

La tabella pubblicata da DeepSeek comprende 11 benchmark e il nuovo modello supera Opus 4.8 in tre casi. Il vantaggio è di 1,3 punti su DeepSWE, 1,6 su Agents’ Last Exam e un punto su ZeroBench. Negli altri otto test è invece Anthropic a prevalere. Le distanze cambiano sensibilmente a seconda dello scenario. Su Toolathlon-Verified i due modelli sono praticamente appaiati, con 75,9 punti per DeepSeek contro 76,2 per Opus 4.8. Anche Chartography presenta una differenza contenuta, 64,3 contro 65,0, mentre Terminal Bench 2.1 vede Anthropic avanti di poco, 85,0 contro 83,9.

In altri test il divario diventa invece molto più consistente. Su NL2Repo, DeepSeek si ferma a 57,7 punti contro i 69,7 di Opus 4.8, mentre su DSBench-Hard il rapporto è 63,6 contro 71,7. Sono differenze che assumono particolare importanza considerando che attività di questo tipo rappresentano uno degli impieghi più interessanti degli agenti AI in ambito aziendale.

C’è poi un benchmark che fotografa un limite ancora evidente dell’intero settore. Su AutomationBench, DeepSeek, V4-Flash e Opus 4.8 ottengono rispettivamente 25,7, 25,1 e 27,2 punti. Il risultato suggerisce che, al di là dei confronti tra singoli modelli, esistono ancora categorie di attività nelle quali gli agenti sono lontani da prestazioni realmente convincenti.

La parte più delicata riguarda però il salto rispetto al precedente V4-Flash. Su ApexBench il nuovo modello raggiunge 36,5 punti contro 26,2, mentre su Agents’ Last Exam passa da 25,2 a 27,3. DeepSeek stessa fornisce una precisazione fondamentale, precisando che nelle due valutazioni il precedente modello testuale non era in grado di utilizzare gli elementi multimodali presenti nei test.

DeepSeek V4-Flash-Vision-Exp

Il miglioramento misura certamente l’effetto positivo della capacità di comprendere immagini, grafici e schermate, ma in parte equivale anche a mettere a confronto un modello che può vedere con uno che, per definizione, è “cieco” rispetto a quelle informazioni. Il risultato resta significativo, ma va insomma interpretato nel contesto corretto.

Ancora più interessante è il comportamento del nuovo modello sui test esclusivamente testuali. DeepSeek afferma che V4-Flash-Vision-Exp mantiene le capacità del predecessore, ma i suoi stessi dati mostrano un risultato persino migliore in sei benchmark su sette. Toolathlon-Verified cresce di 5,6 punti, DeepSWE di 4,9 e DSBench-Hard di quattro punti. L’unica eccezione è Cybergym, dove la variante multimodale perde 1,4 punti rispetto al V4-Flash.

Va comunque ricordato che tutti questi risultati provengono dai test effettuati da DeepSeek. L’azienda ha indicato anche le condizioni di valutazione, specificando l’utilizzo del proprio harness in modalità minimal, temperatura 1.0 e top_p 0,95. La trasparenza sui parametri è positiva, ma non trasforma automaticamente i benchmark proprietari in una valutazione indipendente.

Il fattore economico rende comunque il confronto particolarmente interessante. V4-Flash è stato indicato come uno dei modelli più economici da utilizzare e questo aspetto può modificare radicalmente il calcolo del costo totale di un agente, anche perché perdere un benchmark di pochi punti non equivale necessariamente a una sconfitta commerciale. Un modello molto più economico può infatti risultare preferibile se offre prestazioni sufficienti per il caso d’uso. Il discorso cambia invece quando il divario arriva a 12 punti in un’attività complessa come NL2Repo, dove affidabilità e capacità di lavorare su grandi repository possono essere determinanti.

C’è infine un’ulteriore variabile rappresentata da DeepSeek V4-Pro, che l’azienda ha presentato separatamente con capacità agentiche potenziate, supporto alla Responses API e integrazione con Codex. Anche questo modello non compare nel confronto appena pubblicato.

Il risultato più corretto, quindi, è meno spettacolare di alcune interpretazioni iniziali ma forse più interessante. V4-Flash-Vision-Exp è un modello multimodale sperimentale che in tre benchmark su undici supera Opus 4.8 e in diversi altri rimane a distanza contenuta, con un costo potenzialmente molto più basso. Per capire il reale posizionamento rispetto alla frontiera Anthropic, manca però ancora il confronto decisivo con Claude Opus 5.

(Immagine in apertura: Shutterstock)