Con il passaggio dai modelli AI dedicati prevalentemente al training verso sistemi capaci di ragionare, utilizzare strumenti e collaborare con altri agenti, il vero problema diventa la capacità dell’infrastruttura di gestire enormi quantità di token mantenendo contemporaneamente latenza, throughput ed efficienza economica sotto controllo.

È questa la logica alla base dell’evoluzione della piattaforma Vera Rubin NVL72, alla quale NVIDIA affianca ora Groq 3 LPX, un’architettura per l’accelerazione dell’inferenza AI specificamente orientata alla generazione rapida dei token. L’obiettivo di NVIDIA è costruire una sorta di “token factory”, ovvero un’infrastruttura nella quale calcolo, memoria, networking e inferenza vengono progettati come parti di un unico sistema.

Il dato più significativo arriva da un benchmark di Artificial Analysis eseguito con Gemma 4 31B, modello open source orientato anche agli scenari agentici. In un test con contesti da 100.000 token, NVIDIA Groq 3 LPX avrebbe raggiunto 3.400 token generati al secondo, risultando quattro volte più veloce rispetto alla piattaforma concorrente più vicina. Si tratta di un risultato particolarmente interessante per gli agenti AI, nei quali una risposta non è necessariamente un’unica generazione, ma può essere il risultato di numerosi cicli di ragionamento, chiamate a strumenti e interazioni con altri sistemi.

La mossa di NVIDIA arriva di fronte all’evoluzione verso l’AI agentica, che sta cambiando la natura dei carichi di lavoro. Un modello tradizionale può ricevere una richiesta e produrre una risposta, ma un agente deve mantenere il contesto, consultare fonti esterne, utilizzare API, eseguire codice, valutare i risultati e decidere quale operazione compiere successivamente. Diventa quindi cruciale anche il tempo necessario per generare ogni singolo token durante la fase di decode. Un ritardo apparentemente trascurabile, moltiplicato per migliaia o decine di migliaia di token e per numerosi passaggi consecutivi, può infatti trasformarsi in un collo di bottiglia significativo.

Groq 3 LPX è stato progettato proprio per affrontare questa componente del problema. L’idea è distribuire il lavoro tra acceleratori con compiti differenti: le GPU Rubin gestiscono l’elaborazione dei contesti di grandi dimensioni, mentre le unità LPX sono ottimizzate per la generazione dei token sensibile alla latenza. La conseguenza dovrebbe essere una generazione più rapida e prevedibile, senza sacrificare la capacità di gestire carichi di inferenza su larga scala.

Dalla GPU alla progettazione dell’intero sistema

Il concetto chiave utilizzato da NVIDIA è quello di extreme codesign. Invece di ottimizzare separatamente processori, acceleratori e rete, l’azienda sta progettando i diversi livelli dell’infrastruttura come componenti di un’unica architettura. Vera Rubin rappresenta il livello di calcolo principale, mentre NVIDIA Spectrum-X Ethernet è destinato a gestire i giganteschi flussi di dati all’interno delle AI factory. Groq 3 LPX aggiunge invece una componente specializzata per l’inferenza a bassa latenza.

LPX-Chart-scaled

Questa impostazione riflette una trasformazione più profonda del data center AI. Quando i modelli devono mantenere finestre di contesto sempre più grandi e generare quantità crescenti di token, la rete diventa parte integrante delle prestazioni del sistema. In questo senso, Spectrum-X Multiplane assume un ruolo importante. CoreWeave lo sta già implementando in produzione per collegare rack Vera Rubin attraverso più switch operanti in parallelo, con l’obiettivo di ottenere una rete ad alta larghezza di banda, piatta e lossless.

Una piattaforma pensata per l’AI agentica

NVIDIA sta inoltre cercando di costruire un ecosistema attorno alla piattaforma. Nebius è il primo AI cloud provider ad adottare Groq 3 LPX e intende integrarlo nella propria Token Factory insieme a Vera Rubin NVL72. Per gli sviluppatori questo significa poter disporre di una piattaforma orientata a casi d’uso nei quali la reattività è fondamentale, dagli agenti interattivi ai sistemi di coding fino alle applicazioni AI in tempo reale.

Anche SpaceXAI ha annunciato l’adozione delle CPU NVIDIA Vera per la propria futura architettura AI. L’impiego previsto riguarda soprattutto le attività CPU-intensive che circondano l’inferenza, tra cui orchestrazione degli agenti, utilizzo degli strumenti, esecuzione del codice, elaborazione dei dati e simulazioni. È un dettaglio significativo perché dimostra come l’agente AI non sia più considerato esclusivamente un problema a livello di GPU. Una parte crescente del lavoro avviene infatti fuori dal modello vero e proprio e richiede risorse CPU, memoria, storage e networking adeguate.

Il rack diventa un acceleratore unico

NVIDIA descrive Groq 3 LPX come un’estensione nativa di Vera Rubin NVL72. A livello di scala, una configurazione rack può comprendere 256 acceleratori LP30, collegati attraverso connessioni dirette chip-to-chip per creare un motore di inferenza altamente specializzato. L’idea è superare la tradizionale distinzione tra acceleratore e sistema in cui il rack viene concepito come un’unica macchina distribuita, nella quale GPU e LPU collaborano nell’elaborazione dei modelli.

Questo approccio dovrebbe consentire agli operatori cloud di aumentare il numero di richieste gestibili senza trasformare l’incremento della capacità in un corrispondente aumento della latenza. Per i servizi agentici è un passaggio fondamentale, perché la qualità percepita dall’utente dipende sempre più dalla rapidità con cui l’intero workflow viene completato.

La prospettiva di NVIDIA è quindi quella di trasformare il data center in una vera fabbrica di token, in cui il valore dell’infrastruttura viene misurato dalla capacità di convertire quella potenza in token generati rapidamente, mantenendo elevata utilizzazione delle risorse e costi sostenibili.