Qwen3.8-Flash-Next è il modello multimodale “Mixture of Expert” super efficiente di Alibaba

Il colosso cinese Alibaba continua a spingere sull’efficienza dei grandi modelli di intelligenza artificiale con Qwen3.8-Flash-Next, un nuovo modello multimodale presentato dall’azienda come un’anticipazione dell’architettura destinata a diventare la base della futura generazione Qwen4, rendendo pubbliche alcune delle principali innovazioni tecniche prima ancora del debutto della nuova famiglia completa.
Il punto centrale è la ricerca di un equilibrio diverso tra dimensione del modello e risorse necessarie per utilizzarlo. Qwen3.8-Flash-Next affronta la questione aumentando la capacità complessiva del sistema ma cercando al tempo stesso di limitare la quantità di calcolo effettivamente richiesta per elaborare ogni singolo token.
Il modello utilizza infatti un’architettura Mixture of Experts particolarmente efficiente. Il nucleo principale dispone di 125 miliardi di parametri, ai quali si aggiungono altri 51 miliardi legati al sistema N-gram Embedding. Complessivamente si arriva quindi a circa 180 miliardi di parametri, ma la parte realmente attivata durante l’elaborazione di ciascun token è pari a circa 6 miliardi. È proprio questa differenza tra capacità totale e capacità attiva a spiegare la filosofia del progetto.
In un tradizionale modello dense, ogni token attraversa sostanzialmente l’intera rete neurale e richiede quindi l’attivazione di tutti i parametri coinvolti nell’architettura. Un sistema MoE, invece, suddivide parte del modello in specialisti e seleziona soltanto quelli necessari per affrontare un determinato passaggio. Il risultato è una capacità teorica molto elevata senza un incremento proporzionale dei costi computazionali durante l’inferenza.
Qwen3.8-Flash-Next, tuttavia, non punta esclusivamente sulla logica degli esperti. Alibaba ha introdotto modifiche profonde in quattro aree: attenzione, connessioni residuali, embedding e processo di ottimizzazione durante l’addestramento.
Uno degli elementi chiave è il nuovo sistema di attenzione ibrida, che combina Gated DeltaNet e Qwen Sparse Attention (QSA). Quest’ultima utilizza un meccanismo di selezione che opera su micro-blocchi di contesto, individuando le informazioni più rilevanti senza trattare ogni elemento con lo stesso livello di intensità computazionale. In pratica, il modello cerca di evitare di spendere risorse su parti del contesto che hanno poca rilevanza per il compito corrente.
Alibaba ha poi introdotto Gated Residual, un’evoluzione della gestione delle connessioni residuali che amplia il flusso residuale in quattro rami e utilizza meccanismi dinamici per controllare la lettura e la scrittura delle informazioni. L’obiettivo è migliorare il passaggio delle informazioni tra i diversi livelli della rete, mantenendo allo stesso tempo una maggiore stabilità durante l’addestramento.
Un’altra novità riguarda il sistema N-gram Embedding. Gli embedding rappresentano normalmente il punto di ingresso attraverso cui parole, token e altri elementi vengono trasformati in rappresentazioni numeriche comprensibili al modello. Qwen utilizza il contesto locale per accedere a una tabella basata su sequenze di token, aumentando la capacità complessiva senza richiedere un incremento equivalente delle operazioni di calcolo.
Secondo Alibaba, questa componente può inoltre essere trasferita nella memoria dell’host e utilizzata attraverso meccanismi di prefetch asincrono, sovrapponendo il recupero delle informazioni all’elaborazione del modello. È un dettaglio molto tecnico ma significativo, in quanto l’efficienza dei modelli moderni non dipende più soltanto dalla progettazione della rete neurale. La gestione della memoria e la capacità di sfruttare in modo intelligente le risorse hardware stanno infatti diventando altrettanto importanti.
Anche il processo di training è stato ripensato. Qwen3.8-Flash-Next utilizza una combinazione degli ottimizzatori Muon e AdamW, assegnando compiti differenti alle varie categorie di pesi. Alibaba dichiara inoltre di aver aggiornato le proprie scaling law e modificato il processo di addestramento, eliminando alcuni passaggi tradizionali come il batch-size warmup.
Il dato più interessante riguarda però i costi. Rispetto a Qwen3.7-Plus, Alibaba sostiene che Qwen3.8-Flash-Next richieda circa un nono delle risorse di training, pur offrendo prestazioni superiori in attività come coding e lavoro d’ufficio. Il modello è inoltre multimodale e può lavorare con contenuti testuali e visivi. La versione pubblicata su Hugging Face è classificata come modello image-to-text e supporta framework come Transformers, vLLM, SGLang e TokenSpeed, facilitando l’integrazione nell’attuale ecosistema open-weight.


