OpenAI svela i primi benchmark di Jalapeño, il chip di inferenza che sfida Nvidia Blackwell
OpenAI ha presentato i primi risultati di Jalapeño, il suo acceleratore progettato internamente per l’inferenza dei modelli AI, sostenendo di aver raggiunto livelli di velocità ed efficienza ai vertici del settore. Non è ancora di un prodotto destinato al mercato, ma un tassello importante nella strategia con cui l’azienda di Sam Altman intende ridurre progressivamente la propria dipendenza dalle GPU Nvidia.
Jalapeño nasce dalla collaborazione con Broadcom e sarà integrato nell’infrastruttura di calcolo di OpenAI entro la fine dell’anno. L’azienda ha già avviato lo sviluppo delle generazioni successive, a conferma del fatto che il progetto non viene considerato un esperimento isolato, bensì l’inizio di una piattaforma hardware destinata a evolversi nel tempo.
Il punto centrale è l’inferenza, cioè la fase in cui un modello AI già addestrato viene utilizzato per generare risposte, eseguire agenti e svolgere attività quotidiane. È un segmento destinato a crescere rapidamente e caratterizzato da esigenze diverse rispetto al training dei modelli. Qui l’efficienza energetica e il costo per singola richiesta possono infatti diventare determinanti quanto la potenza di calcolo assoluta.
Jalapeño potrebbe arrivare a competere con le GPU Nvidia Blackwell proprio sul terreno dell’efficienza nell’inferenza. OpenAI sostiene infatti che il nuovo chip permetterà risposte più rapide, agenti più reattivi e una maggiore capacità di sostenere l’aumento della domanda senza far crescere proporzionalmente i costi infrastrutturali.
Il vero vantaggio è nei consumi
L’interesse per Jalapeño deriva soprattutto dal rapporto tra prestazioni e consumi. Alexander Harrowell di Omdia considera il chip un risultato significativo sotto questo profilo, visto che in una distribuzione su larga scala, una maggiore efficienza può tradursi in minori consumi elettrici, esigenze inferiori di raffreddamento e una riduzione dell’infrastruttura necessaria per alimentare i data center.
È un aspetto fondamentale per OpenAI, che deve sostenere un’enorme domanda computazionale per i propri modelli. Ogni punto percentuale guadagnato nell’efficienza dell’inferenza può avere un impatto economico considerevole quando viene moltiplicato per milioni o miliardi di richieste.
SemiAnalysis, dopo aver visitato i laboratori di OpenAI, ha rilevato che Jalapeño supera Blackwell in termini di prestazioni per watt nella maggior parte degli scenari testati. Il confronto presenta però un elemento importante, nel senso che il chip OpenAI utilizza memoria HBM4, mentre Blackwell appartiene a una generazione precedente. Per un confronto realmente omogeneo occorre quindi guardare alla piattaforma Vera Rubin di Nvidia, anch’essa basata su HBM4. Inoltre, Rubin è già in fase di distribuzione ai clienti, mentre Jalapeño è ancora in una fase molto più iniziale del percorso industriale.
Nvidia resta davanti sul training
La possibile minaccia per Nvidia è quindi concreta, ma circoscritta. Jalapeño potrebbe ridurre il ricorso alle GPU del produttore californiano per l’inferenza, mentre il training dei modelli di frontiera rimane un terreno molto più favorevole alle GPU general purpose. La programmabilità, le prestazioni, l’ecosistema CUDA e la capacità di gestire workload differenti rappresentano ancora vantaggi difficili da replicare con un ASIC specializzato. OpenAI continuerà quindi ad avere buone ragioni per utilizzare grandi quantità di GPU Nvidia, soprattutto nelle fasi più pesanti dello sviluppo dei modelli.
Il problema per Nvidia è però strutturale. OpenAI non è un cliente marginale ,ma è tra i maggiori acquirenti di GPU dell’azienda. Se iniziasse a spostare una parte significativa dell’inferenza su acceleratori proprietari, potrebbe incidere direttamente sui margini e sul volume di uno dei rapporti commerciali più importanti dell’intero mercato AI.vQuello di OpenAI non è peraltro un caso isolato. Google sviluppa da anni le proprie TPU per training e inferenza, Meta sta lavorando con Broadcom su una piattaforma custom da circa un gigawatt e Anthropic ha previsto un enorme investimento nell’infrastruttura AWS basata anche sulle generazioni presenti e future dei chip Trainium di Amazon.
Il fenomeno riguarda dunque l’intero settore hyperscale. Omdia prevede che gli ASIC destinati all’intelligenza artificiale possano superare le GPU in termini di volumi entro il 2028, anche se il valore economico delle GPU resterà probabilmente superiore più a lungo, dato il loro prezzo medio più elevato. La vera partita di Nvidia si gioca quindi sull’inferenza. CUDA continua a rappresentare una barriera competitiva enorme, ma la possibilità di progettare acceleratori specializzati e ottimizzati per specifici workload sta diventando sempre più concreta. Jalapeño è il segnale più recente di questa trasformazione e, per Nvidia, arriva da un cliente che fino a oggi ha contribuito in modo significativo alla crescita del suo business AI.
