Ogni giorno i modelli IA evolvono e necessitano di maggiore capacità, arrivando a utilizzare anche oltre 1.000 miliardi di parametri per migliorare accuratezza, fluidità, efficienza, funzionalità multimodali e altri aspetti. Esigenze così estreme richiedono GPU sempre più veloci, organizzate in cluster molto ampi.

Per rispondere a questa richiesta, Oracle continua a migliorare la sua offerta di Infrastruttura as-a-Service (IaaS) per i carichi di lavoro IA e ha annunciato la disponibilità generale di Oracle Cloud Infrastructure (OCI) Supercluster, che utilizza le GPU NVIDIA H200 Tensor Core .

Con il nuovo OCI Supercluster, Oracle ha creato il supercomputer in cloud per l’IA più grande e più veloce del settore. Il nuovo Supercluster è infatti scalabile fino a ben 65.536 GPU e, al massimo del suo potenziale, può offrire performance di picco FP8 di fino a 260 ExaFLOP, oltre quattro volte maggiori rispetto alla precedente generazione.

Oracle Nvidia H200

Ogni istanza di calcolo OCI Compute nel Supercluster ha il 76% in più di capacità di memoria a larga banda e il 40% di banda di memoria rispetto all’istanza con GPU Nvidia H100; ciò migliora fino a 1,9 volte le prestazioni di inferenza per i large language model (LLM).

Inoltre, con una capacità doppia di throughput di rete front-end per l’ingestione e il recupero dei dati (200 Gbps per istanza), si migliora in modo molto significativo anche il trasferimento dei dati da e verso il cluster, così da accelerare ulteriormente le attività di allenamento dei modelli IA e la loro implementazione.

Tutto ciò è fornito in una configurazione hardware e software specificamente pensata per l’IA e allo stesso prezzo di utilizzo (10 dollari per ora per ogni GPU) dell’istanza della generazione precedente con le GPU NVIDIA H100.