L’Europa continua a rincorrere Stati Uniti e Cina nel settore dell’intelligenza artificiale generativa, ma un nuovo progetto nato in Germania dimostra che il continente può ancora giocare un ruolo rilevante nella corsa ai grandi modelli linguistici. Si chiama Soofi S 30B-A3B ed è uno dei primi LLM interamente addestrati su un’infrastruttura europea, con l’obiettivo di coniugare apertura del codice, sovranità tecnologica e prestazioni competitive rispetto ai principali modelli open disponibili oggi.

Dietro il progetto c’è un ampio consorzio coordinato dall’associazione tedesca KI Bundesverband, che riunisce università, centri di ricerca e aziende specializzate in AI. Tra i partner figurano istituti Fraunhofer, DFKI, TU Darmstadt e diverse realtà industriali, mentre l’addestramento è stato eseguito sull’Industrial AI Cloud di Deutsche Telekom, situata a Monaco di Baviera e alimentata con energia rinnovabile.

Soofi S adotta una configurazione decisamente diversa rispetto ai tradizionali modelli Transformer. Il sistema utilizza infatti una struttura Mixture of Experts (MoE) con circa 31,6 miliardi di parametri complessivi, ma ne attiva soltanto 3,2 miliardi durante la generazione di ogni token. Questo significa che, pur appartenendo alla categoria dei modelli da oltre 30 miliardi di parametri, il costo computazionale richiesto durante l’inferenza è paragonabile a quello di un modello molto più piccolo.

La base architetturale deriva da Nvidia Nemotron 3 Nano, mantenendone la configurazione ibrida che combina layer Transformer tradizionali con layer basati su Mamba-2, una tecnologia progettata per migliorare la gestione di contesti estremamente lunghi riducendo il peso della memoria necessaria durante l’elaborazione.

È proprio questo uno degli aspetti più interessanti del progetto. Nei modelli Transformer convenzionali, l’aumento della lunghezza del contesto comporta una crescita continua della cosiddetta KV Cache, ovvero la memoria utilizzata per conservare le informazioni necessarie al meccanismo di attenzione. Quando il numero di token aumenta e le richieste simultanee si moltiplicano, questa memoria diventa rapidamente uno dei principali colli di bottiglia. Soofi S affronta il problema limitando drasticamente il numero di layer che utilizzano tale cache. Su 52 livelli complessivi, soltanto sei fanno ricorso al tradizionale meccanismo di attenzione, consentendo al modello di mantenere prestazioni molto più stabili anche con finestre contestuali estremamente estese.

I test pubblicati dal consorzio mostrano infatti una velocità di generazione quasi costante da 4.000 fino a 256.000 token di contesto. In scenari particolarmente impegnativi, come una finestra da 40.000 token con 32 richieste elaborate in parallelo, Soofi S arriverebbe a produrre circa otto volte più token al secondo per GPU rispetto a numerosi modelli Transformer tradizionali compresi tra 14 e 24 miliardi di parametri.

soofi-s-04-eval-open-source

L’altra caratteristica distintiva riguarda il dataset utilizzato per l’addestramento. Il modello è stato istruito su circa 27 trilioni di token distribuiti in tre fasi successive. La prima ha utilizzato un enorme insieme di contenuti provenienti dal web, codice sorgente, testi matematici e documentazione tecnica. La seconda si è concentrata su fonti ritenute qualitativamente superiori, mentre l’ultima è servita principalmente ad ampliare la capacità del modello di gestire documenti molto lunghi, arrivando fino a un milione di token.

La componente linguistica rappresenta però la vera particolarità del progetto. A differenza della maggior parte dei grandi LLM internazionali, fortemente orientati verso l’inglese, Soofi S dedica una quota significativamente maggiore ai contenuti in lingua tedesca. Durante la fase iniziale dell’addestramento questi rappresentavano circa il 7% del dataset, percentuale poi salita oltre il 15% nelle fasi successive. Per ottenere questo risultato, sono stati utilizzati numerosi corpus specifici tra cui raccolte di pagine web tedesche, Wikipedia, documenti PDF, articoli di giornale provenienti da oltre 900 testate nazionali e testi generati sinteticamente per ampliare ulteriormente la copertura linguistica.

Secondo gli sviluppatori, questa scelta ha permesso di migliorare sensibilmente la qualità del modello nelle attività che richiedono una profonda conoscenza della lingua e del contesto culturale tedesco, senza compromettere le prestazioni in inglese. I benchmark pubblicati confermano un livello competitivo, con Soofi S che ha ottenuto i migliori risultati complessivi tra i modelli completamente open sia nelle prove in inglese, sia in quelle in tedesco, superando concorrenti di riferimento come OLMo 3 32B e Apertus 70B.

Le prestazioni risultano particolarmente convincenti nella generazione di codice. Nei principali benchmark dedicati alla programmazione, come HumanEval e MBPP, il modello raggiunge risultati superiori rispetto alla maggior parte dei concorrenti open source, dimostrando una notevole efficacia anche nella versione tedesca del test.

Non mancano però alcuni limiti. Nei problemi matematici particolarmente complessi, Soofi S resta dietro modelli come Qwen3.5 e Gemma 3, mentre nelle attività di recupero di conoscenze fattuali mostra qualche difficoltà, probabilmente legata al numero relativamente ridotto di parametri effettivamente attivi durante l’inferenza.

soofi-s-03-data-mixture

Anche uno dei test dedicati ai contesti molto lunghi evidenzia una debolezza specifica. Quando viene richiesto di individuare parole ricorrenti all’interno di documenti estremamente estesi, il modello perde precisione oltre i 32.000 token, un comportamento che gli sviluppatori attribuiscono alla composizione del dataset utilizzato durante la fase finale dell’addestramento, ricco di documenti lunghi ma meno specializzato nei compiti di estrazione delle informazioni.

Oltre alle prestazioni, Soofi S punta molto anche sulla trasparenza. Il consorzio renderà disponibili i pesi del modello, parte dei checkpoint intermedi, il codice utilizzato per l’addestramento e una documentazione estremamente dettagliata sull’origine dei dati impiegati. Secondo i promotori, circa il 99% dell’intero dataset può essere ricostruito indipendentemente e ciò rappresenta un livello di apertura ancora raro nel panorama dei grandi modelli linguistici.

Resta soltanto una piccola eccezione rappresentata da una quota di dati provenienti dal database commerciale Genios, che impedisce al progetto di soddisfare le definizioni più restrittive di open data proposte in ambito europeo. Ciò nonostante, Soofi S rappresenta uno dei tentativi più concreti di costruire un ecosistema AI realmente europeo, sviluppato su infrastrutture sovrane e pensato per applicazioni industriali nei settori della documentazione tecnica, della generazione di codice e dei futuri sistemi agentici.