La competizione nell’infrastruttura per l’intelligenza artificiale si sposta sempre più dal singolo acceleratore alla capacità di far lavorare decine o centinaia di GPU come se fossero un unico sistema. Nvidia ha costruito proprio su questo terreno una parte importante del proprio vantaggio con NVLink e NVSwitch, ma ora stanno entrando nuovi concorrenti con architetture aperte e componenti progettati per ridurre la dipendenza dall’ecosistema proprietario del colosso californiano.

Alla AI Infra Summit, Cornelis Networks e Delos Data hanno presentato strategie differenti ma complementari per affrontare il problema. Il punto di partenza è che le interconnessioni scale-up sono diventate fondamentali con l’aumento delle dimensioni dei cluster, con Nvidia che è arrivata a collegare sistemi da 72 GPU e guarda a configurazioni da 576 e oltre e AMD che punta su protocolli come UALink e su switch Ethernet ad altissima capacità.

Cornelis punta su una rete che elabora i dati

Cornelis, azienda nata nel 2020 da uno spin-off di Intel e storicamente legata al networking per HPC, ha presentato Active Compute Fabric (ACF), il cui scopo è definire un’architettura aperta capace di coprire tanto il networking scale-up quanto quello scale-out, introducendo capacità di elaborazione direttamente all’interno della rete.

Il concetto non è completamente nuovo. Gli switch Nvidia NVSwitch utilizzano, per esempio, tecnologie come SHARP per eseguire determinate operazioni collettive direttamente nell’infrastruttura di rete, evitando di demandarle alle GPU. In questo modo, diminuiscono il traffico e il tempo durante il quale gli acceleratori rimangono in attesa dei dati. Cornelis vuole trasformare questa logica in un’architettura più generale e interoperabile. ACF prevede infatti l’accelerazione di funzioni come il trasferimento della KV cache, la distribuzione degli esperti nei modelli Mixture of Experts, il Message Passing Interface utilizzato nell’HPC e il checkpointing direttamente all’interno del fabric.

Il problema affrontato è concreto se si pensa che nelle grandi infrastrutture AI una parte significativa della capacità di calcolo può rimanere inutilizzata mentre le GPU attendono dati o sincronizzazioni. Cornelis sostiene, sulla base di proprie elaborazioni, che in un sistema da 100.000 GPU circa metà delle ore GPU potrebbe essere assorbita da queste attese, con un costo potenziale quantificato in 1,68 miliardi di dollari l’anno. Si tratta naturalmente di una stima modellata e va interpretata come tale, ma evidenzia il valore economico dell’ottimizzazione del traffico.

cornelis nvidia nvlink

Crediti: Shutterstock

Delos Data lavora sul collegamento fisico

Delos Data affronta invece il problema a un livello più vicino all’hardware. La startup, fondata da ex dirigenti di Barefoot Networks e Intel, ha presentato la famiglia Nonstop AI, composta da diversi reference design per la connettività dei sistemi AI.

Uno degli elementi più interessanti è un I/O die capace di oltre 30 Tbps di banda aggregata, equivalenti a circa 8 TB/s in una direzione. Sulla carta si tratta di un valore superiore alla banda di interconnessione dichiarata per gli acceleratori Nvidia e AMD più recenti, che arrivano a 3,6 TB/s. La reale competitività dipenderà però dalla disponibilità dei chip e soprattutto dalla loro integrazione nei package degli acceleratori.

Delos punta infatti su chiplet agnostici rispetto al protocollo. Il componente può essere utilizzato con UALink, ESUN o altre tecnologie, lasciando ai produttori di acceleratori maggiore libertà nella progettazione dell’architettura. È una differenza significativa rispetto a un ecosistema nel quale hardware, interconnessione e software sono fortemente integrati e vincolati a uno specifico fornitore.

La stessa filosofia viene applicata alle soluzioni di near-packaged optics (NPO), per le quali Delos prevede un’interfaccia superiore ai 10 Tbps abbinata a motori ottici di diversi produttori. Il ricorso all’ottica diventa sempre più importante man mano che le infrastrutture passano dal singolo rack a sistemi distribuiti su più rack e intere file di data center. Il rame resta vantaggioso all’interno del rack, mentre per collegamenti più lunghi l’ottica permette di gestire meglio distanza e larghezza di banda.

La soluzione NPO proposta da Delos cerca inoltre di rendere i moduli ottici sostituibili, limitando l’impatto di eventuali guasti rispetto a un’integrazione completamente interna al package. Completa la piattaforma una NIC da oltre 400 Gbps destinata al networking scale-out tradizionale, indispensabile per collegare i cluster ai sistemi di storage e alle reti front-end.

La concorrenza nel networking AI sta attirando anche investimenti considerevoli. Cornelis ha annunciato circa 205 milioni di dollari di nuovi finanziamenti, mentre Delos Data ha superato i 100 milioni di dollari raccolti. Il mercato sembra quindi prepararsi a una fase nella quale UALink, Ethernet, ESUN e nuove architetture proprietarie o aperte potrebbero convivere.

(Immagine in apertura: Shutterstock)