IA in locale: il server Dell PowerEdge XE7740 è il primo a montare la GPU Gaudi di Intel

Dell ha annunciato il nuovo server PowerEdge XE7740, il primo dotato di acceleratori Intel Gaudi 3 PCIe e progettato per offrire accelerazione IA, flessibilità e prestazioni di alto livello con fattore di forma 4U.
Che si tratti di mettere a punto modelli di IA per flussi di lavoro specifici o di eseguire inferenze ad alte prestazioni, l’XE7740 semplifica l’implementazione, migliora le operazioni e secondo Dell stabilisce nuovi standard di riferimento in termini di rapporto prezzo/prestazioni dell’IA. Il nuovo server può ospitare fino a otto acceleratori a doppia larghezza o PCIe e, con configurazioni che supportano fino a 8 acceleratori Gaudi 3, offre opzionalmente due gruppi di acceleratori con collegamento a 4 vie.
Il bridging dell’acceleratore PCIe Gaudi 3 a 4 vie integra un throughput combinato di 1.200 GBps per la comunicazione da acceleratore ad acceleratore su 18 interfacce 200GbE, utilizzando Remate Direct Memory Access (RDMA) su Converged Ethernet (RoCE v2). Il bridging da acceleratore ad acceleratore è fondamentale per i modelli di IA su larga scala e gli spazi di memoria più grandi, garantendo la scalabilità e la flessibilità del flusso di lavoro.
Questo server, che si integra perfettamente nei rack raffreddati ad aria grazie all’innovativo sistema Dell Smart Cooling, non offre solo potenza di calcolo pura, ma anche un sistema di networking flessibile con un rapporto acceleratore/interfaccia di rete (NIC- Network Interface Card) fino a 1:1, grazie a otto slot PCIe a piena altezza e un modulo di rete OCP integrato.
Il Dell PowerEdge XE7740 è progettato per diversi workload AI, tra cui:
- Inferenza e messa a punto di Large Language Model (LLM) di grandi dimensioni
- Applicazioni di IA multimodali, come il riconoscimento vocale e di immagini
- Analisi sanitarie ad alta intensità di dati e sequenziamento del genoma
- Rilevamento delle frodi nei servizi finanziari e mitigazione dei rischi
- Personalizzazione in tempo reale nel retail e nell’e-commerce