OVHcloud ha annunciato di aver scelto SambaNova come elemento fondamentale per ampliare il proprio portafoglio di soluzioni di inferenza AI, con un focus su prestazioni a latenza ultra-bassa.

OVHcloud è convinta che le organizzazioni che sviluppano applicazioni IA di nuova generazione si trovino ad affrontare vincoli sempre più stringenti, tra cui chiamate sequenziali agli LLM che rallentano l’intero processo rispetto alla latenza e applicazioni rivolte agli utenti che richiedono risposte immediate alle pipeline operative che devono scalare fino a milioni di inferenze, garantendo prestazioni rigorose in termini di “time to first token” e “time per output token”.

In questo scenario, la partnership tra OVHcloud e SambaNova abilita un ampio ventaglio di casi d’uso in cui ogni millisecondo è importante. In settori quali trading finanziario, cybersecurity, automazione industriale, ottimizzazione logistica, monitoring e molti altri, un’inferenza lenta può significare opportunità mancate, mancanza di visibilità operativa o un’esperienza utente degradata.

La soluzione OVHcloud AI Endpoints, alimentata dalla piattaforma di inferenza AI SambaStack di SambaNova, consente di offrire capacità di livello produttivo caratterizzate da prestazioni elevate, inferenza rapida, efficienza energetica e disponibilità con SLA pari al 99,8%.

OVH SambaNova

Con questa nuova soluzione, OVHcloud punta a introdurre nuove tipologie di endpoint real-time con prestazioni garantite e API batch per sostenere volumi elevatissimi di chiamate quando il real-time non è necessario. A complemento dell’attuale infrastruttura basata su GPU, i nuovi nodi di inferenza SambaNova offriranno inoltre ai clienti un’esperienza estremamente rapida grazie ai chip IA Reconfigurable Dataflow Units (RDU), che offrono un elevato numero di token per kilowattora e risultano ideali per efficienza, utilizzo delle risorse e densità nei datacenter.

Con velocità di inferenza molto elevate, gli AI Endpoints potenziati da SambaNova si basano sui più grandi modelli open-source, perfettamente ottimizzati per workload agentici impegnativi e per casi d’uso real-time a bassa latenza come agenti IA, traduzione live e interazioni agente-agente, oltre a offrire API batch per casi d’uso asincroni come crawling, generazione di database vettorializzati, aggiornamento dataset e operazioni batch massive.

“La tecnologia di SambaNova fornisce la potenza e l’efficienza necessarie per le applicazioni IA più esigenti. Questa partnership ci permette di eseguire un maggior numero di modelli in uno spazio ridotto, migliorando l’utilizzo delle risorse durante l’inferenza” ha dichiarato Octave Klaba, fondatore e CEO di OVHcloud. Gli ha fatto eco Rodrigo Liang, co-fondatore e CEO di SambaNova, secondo il quale la partnership apre la strada a innovazioni rivoluzionarie, aiutando i clienti a trasformare l’IA più avanzata in risultati concreti.

L’inferenza basata su SambaNova sarà disponibile entro fine anno nelle regioni localizzate in Francia, con future espansioni pianificate in Europa. La fatturazione del servizio seguirà un modello pay-as-you-go con un livello minimo di impegno richiesto.

(Immagine in apertura: Shutterstock)