L’integrazione di Copilot in Windows 11 continua a ritmo serrato e, con le due ultime novità, Microsoft sembra voler rendere il suo assistente intelligente una presenza costante per milioni di utenti. Copilot Voice e Copilot Vision sono infatti due nuovi strumenti che dovrebbero rendere il sistema più naturale e intuitivo, ma che al contempo sollevano dubbi su privacy, controllo e reale utilità quotidiana.

Secondo quanto dichiarato da Yusuf Mehdi, responsabile marketing consumer di Microsoft, le due funzionalità arriveranno su ogni dispositivo Windows 11 in cui Copilot è disponibile. L’attivazione vocale con il comando Hey Copilot permetterà di interagire con l’assistente senza usare tastiera o mouse, mentre Copilot Vision consentirà di analizzare i contenuti visualizzati sullo schermo, senza necessità di hardware dedicato come quello dei PC Copilot+.

Il rollout è graduale e, come spesso accade, non è chiaro quando la funzione sarà accessibile a tutti. Tuttavia, alcune prove già condotte dalla stampa specializzata mostrano un quadro interessante. Avram Piltch, redattore di The Register, ha potuto sperimentare la funzione su una macchina virtuale Windows 11 in Beta Channel, attivando manualmente la voce “Enable Copilot wake word”. Dopo l’attivazione, bastava pronunciare “Hey Copilot” per richiamare l’assistente, anche se la visione del contenuto dello schermo richiedeva ancora un comando manuale.

Durante i test, Copilot ha riconosciuto correttamente un video su YouTube relativo a una tastiera meccanica, identificandola come una Keychron K2 HE e fornendone il prezzo. Tuttavia, quando gli è stato chiesto di aprire un sito per procedere all’acquisto, l’assistente si è limitato a suggerire cosa fare, senza eseguire direttamente l’azione. Lo stesso comportamento si è verificato nel tentativo di aprire applicazioni o modificare impostazioni di sistema. Una scelta comprensibile sul piano della sicurezza, ma che mette in luce quanto Copilot sia ancora lontano dal comportamento di un agente realmente autonomo.

Un altro limite osservato è la gestione della modalità vocale. Mentre Copilot “parla”, l’utente non può visualizzare il testo corrispondente. Ad esempio, chiedendo di scrivere un curriculum basato sul profilo LinkedIn, l’assistente ha iniziato a dettare lentamente il testo, obbligando Piltch a uscire dalla modalità vocale per leggerlo e copiarlo. È un’esperienza che mostra tanto le potenzialità quanto le frizioni di un’interazione completamente vocale con un sistema operativo.

Microsoft presenta queste funzioni come un passo avanti soprattutto in termini di accessibilità, offrendo nuove opportunità a chi ha difficoltà motorie o visive. Tuttavia, quanti utenti desiderano realmente parlare al proprio PC in ufficio o in spazi condivisi? E se qualcuno, per scherzo, pronunciasse “Hey Copilot, format C” accanto a un computer incustodito? Fortunatamente, le funzioni sono opt-in, ossia attivabili solo su scelta dell’utente.

Più interessante, ma anche più delicata, è la funzione Copilot Vision, che consente al modello di “vedere” ciò che è sul desktop e di interagire con documenti Word, Excel o PowerPoint. Un’idea potente, ma che inevitabilmente richiama alla memoria il caso Recall, la funzione di Windows che registrava schermate continue e scatenò polemiche per i rischi sulla privacy. Proprio per questo, Microsoft assicura che Copilot Vision opera solo su comando e che i dati non vengono trasmessi senza consenso.

Parallelamente, Microsoft sta sperimentando una profonda revisione della barra delle applicazioni, che potrebbe trasformarsi in un punto d’accesso diretto all’intelligenza artificiale. Nella versione in sviluppo, la classica barra di ricerca di Windows viene sostituita da una Casella Copilot, un campo testuale dove digitare domande o comandi all’assistente. L’azienda garantisce che la funzione utilizza le stesse API di Windows Search e che non comporta accessi diretti ai contenuti dell’utente, ma il rischio di una progressiva “Copilotizzazione” dell’interfaccia non è da escludere.

Sul fronte operativo, Microsoft sta lavorando anche a Copilot Actions, una funzione che permetterà all’assistente di completare attività complesse interagendo con applicazioni locali e web. Basterà descrivere il compito in linguaggio naturale e l’agente tenterà di portarlo a termine. In una dimostrazione ufficiale, Copilot ha ruotato automaticamente un’intera cartella di immagini e letto un documento PDF.

Microsoft riconosce però che il sistema non è ancora infallibile. “Gli agenti possono commettere errori o incontrare difficoltà con interfacce complesse”, ammette l’azienda, sottolineando l’importanza del test reale da parte degli utenti per migliorare l’esperienza. È anche per questo che la distribuzione sarà inizialmente limitata a pochi casi d’uso.

Infine, tra gli esperimenti in corso figura Manus, un nuovo agente pensato per eseguire compiti multipli sul PC dell’utente, come costruire un sito web partendo da documenti locali. È l’ennesimo segnale di una strategia che punta a trasformare Windows in un ambiente interamente mediato da IA, dove ogni operazione (dal salvataggio di un file alla scrittura di un report) potrebbe passare attraverso un assistente conversazionale.

Resta però da chiedersi se con tutte queste novità Microsoft stia davvero rispondendo ai bisogni degli utenti, o se invece voglia solo forzare l’adozione di Copilot sperando che diventi indispensabile. Per molti utenti la priorità rimane quella di un sistema operativo stabile, sicuro e coerente, mentre per Microsoft la sfida sembra ormai essere quella di costruire il primo ecosistema operativo “agentico” della storia.