Jev di TypeSafe è un foundation model che non genera testi, ma prende decisioni. Velocemente.
Il principio alla base di Jev, il primo System One Model presentato da TypeSafe AI, è quasi un ribaltamento della direzione presa dall’intelligenza artificiale generativa negli ultimi anni. Invece di produrre parole destinate a essere lette da una persona, il modello restituisce infatti decisioni strutturate che possono essere utilizzate direttamente dal software.
Jev riceve informazioni non strutturate, come il testo di una richiesta di assistenza, e domande definite dall’applicazione. La risposta non è però un paragrafo generato dal modello ma un valore tipizzato, accompagnato da probabilità e da una stima della confidenza. Un sistema può quindi chiedere a Jev se un messaggio riguarda un problema di fatturazione, se richiede un rimborso oppure se deve essere sottoposto a un operatore umano, ricevendo un risultato immediatamente utilizzabile dal codice.
Una nuova categoria di modelli
TypeSafe definisce questi sistemi System One Models, contrapponendoli ai modelli linguistici tradizionali ottimizzati per la conversazione. L’azienda sostiene che l’addestramento tramite RLHF, utilizzato per rendere gli LLM più efficaci nel seguire istruzioni e dialogare con gli esseri umani, introduca compromessi poco adatti alle decisioni autonome, tra cui eccessiva sicurezza nelle risposte e problemi di affidabilità.
Jev segue invece un approccio denominato Reinforcement Learning for Calibrated Decisions (RLCD), sviluppato da TypeSafe insieme a una nuova architettura e a un nuovo sistema di campionamento. L’obiettivo è ottenere decisioni calibrate, nelle quali il modello restituisce anche un’indicazione quantitativa della fiducia riposta in quella scelta.
Questo dettaglio modifica il modo in cui un software può utilizzare l’IA. Una decisione con confidenza elevata può essere eseguita automaticamente, mentre una risposta incerta può superare una soglia prestabilita e attivare una revisione umana. Il modello diventa quindi un componente all’interno di un processo deterministico più ampio, anziché un chatbot a cui delegare genericamente un’attività.
La velocità è parte del prodotto
Il secondo elemento distintivo è la velocità. TypeSafe dichiara prestazioni nell’ordine delle frazioni di secondo, con test che mostrano Jev completare determinati workflow in circa 0,1 secondi. La società sostiene inoltre che, nei propri confronti, il modello possa essere quasi 194 volte più veloce e oltre 400 volte meno costoso rispetto a un LLM impiegato per compiti analoghi.
Anche il prezzo è stato progettato per favorire l’utilizzo massivo. TypeSafe indica un costo di 42 dollari per miliardo di token di input, equivalenti a 0,042 dollari per milione di token, mentre l’output strutturato non viene tariffato come testo generato. La logica economica di fondo è che se una singola decisione costa pochissimo e arriva in pochi millisecondi, diventa possibile inserire controlli IA in moltissimi punti di un’applicazione.
Il vero caso d’uso sono gli agenti
È qui che Jev diventa particolarmente interessante per il mercato enterprise. Un agente IA può utilizzare un LLM per produrre una risposta, generare codice o pianificare un’azione, ma può poi avere bisogno di un componente separato che controlli ciò che sta per fare.
Jev può svolgere proprio questo ruolo. Può classificare una richiesta, verificare se un’azione rispetta determinate condizioni, decidere quale percorso deve seguire un processo o stabilire quando è necessario coinvolgere una persona. Può quindi funzionare come una sorta di livello decisionale invisibile all’interno di software, sistemi di customer service, pipeline commerciali e workflow automatizzati.
Il modello può inoltre essere interrogato con decisioni multiple e combinato direttamente nel codice. Questo permette agli sviluppatori di costruire workflow più complessi senza trasformare ogni passaggio in una nuova interazione con un LLM conversazionale.
Meno parole, più automazione
Questo non significa comunque che Jev sia infallibile. Una decisione può essere sbagliata anche quando il modello non genera alcuna frase inventata. Il rischio si sposta dalla cosiddetta allucinazione alla classificazione errata o alla confidenza mal calibrata. In un sistema automatizzato, distinguere correttamente questi due aspetti sarà fondamentale, visto che se un errore nel classificare una mail può essere irrilevante, un errore nel bloccare un pagamento, approvare una richiesta o segnalare una frode può avere invece conseguenze operative immediate.
Il nome Jev richiama il paradosso di Jevons, secondo il quale, quando una risorsa diventa molto più efficiente ed economica, il suo utilizzo può aumentare anziché diminuire. È esattamente la scommessa di TypeSafe, che vuole rendere la capacità di prendere micro-decisioni talmente veloce ed economica da trasformarla in un componente onnipresente del software.
