Quattro passi con Avanade nella realtà “mixata” di HoloLens

Avvantaggiata da una partnership strategica stretta con Microsoft, che detiene una quota importante dell’azienda controllata da Accenture, Avanade è tra le poche aziende a poter sperimentare anche in italia la tecnologia HoloLens di Microsoft.

Il visore interattivo di Microsoft per miscelare la scena fisica che circonda l’utente con immagini e suoni sintetici, non è infatti ufficialmente disponibile nel nostro paese, nemmeno per gli sviluppatori. Ragion per cui, abbiamo accettato volentieri l’invito di Avanade a provare alcune esperienze di mixed reality presso la loro sede milanese. Facciamo però un passo indietro…

Cos’è HoloLens e perché parliamo di “mixed reality”

La visione di ambienti tridimensionali esplorabili muovendosi nello spazio è tra le tendenze tecnologiche più interessanti dell’ultimo periodo. In assoluto, non è certo una novità: dai primi visori stereoscopici per diapositive la tecnologia è evoluta nel tempo, rimanendo però sempre limitata a prototipi sperimentali o apparecchi di nicchia, con una diffusione molto scarsa, anche per via degli evidenti limiti dei prodotti e dei costi elevati.

Recentemente, e grazie all’evoluzione delle tecnologie necessarie (qualità dei visori lcd, sensori spaziali e di movimento, potenza di calcolo) stanno finalmente apparendo sistemi che, in modi diversi permettono di interagire con oggetti e informazioni in un ambiente tridimensionale nel quale ci si può muovere. Tre diverse interpretazioni tecnologiche di questo concetto stanno prendendo piede, con campi di applicazione (e costi) molto differenti:

• Realtà virtuale (Virtual Reality, VR): indossato un casco o un visore, l’utente viene immerso in un ambiente tridimensionale sintetico che non ha alcuna attinenza con l’ambiente circostante. Tutto quel che vede è prodotto da un computer, con un realismo che dipende fondamentalmente dalla potenza di calcolo disponibile. Prodotti come Oculus Rift e HTC Vive stanno spingendo fortemente questa tecnologia nell’ambito dei videogiochi.
• Realtà aumentata (Augmented Reality, AR): a un’immagine proveniente da una videocamera, vengono sovrapposti oggetti e informazioni. Generalmente, il sistema conosce solo la posizione geografica, e non le caratteristiche dell’ambiente (quant è grande la stanza, se sono presenti oggetti, di che forma…). App per smartphone come Around Me o Pokémon Go sono alcuni esempi di augmented reality.
• Realtà miscelata (Mixed Reality, MR): a un’immagine dell’ambiente circostante (reale o ripresa da videocamere), viene sovrapposta un’immagine sintetica che si integra (si “mixa”) con le caratteristiche della scena e gli oggetti presenti. Un oggetto virtuale può essere appoggiato su un tavolo, appeso a una parete. È la strada percorsa da Microsoft per HoloLens, il visore interattivo, attualmente per utilizzi professionali.

HoloLens è un visore che si fissa al capo con una banda morbida Sulla visiera, che è semitrasparente e permette quindi di vedere l’ambiente circostante, vengono proiettate le immagini digitali. Due altoparlanti vicini alle orecchie emettono suoni che – con una tecnologia ben nota nel mondo dei videogiochi – sono orientati nello spazio (un suono distante cambierà posizione se ruoto la testa). Gli altoparlanti non coprono l’orecchio, per cui i suoni sono miscelati a quelli dell’ambiente, non li sostituiscono (anche qui, quindi, abbiamo una “mixed reality”).

Gli elementi che compongono il sistema di input-output di HoloLens.

È mutuata dai videogiochi, in particolare dal controller Kinect per XBox, anche la tecnologia dei sensori di posizione e movimento. Oltre ai dati di questi sensori, che rilevano la posizione nello spazio dell’utente e le rotazioni del capo, HoloLens recepisce come input anche l’immagine catturata da una videocamera frontale, che oltre alle caratteristiche dell’ambiente è in grado di riconoscere le due gesture di base dell’interfaccia (espandibili a piacere dagli sviluppatori delle singole app). Completano il sistema di input il riconoscimento vocale di Cortana, la tecnologia di riconoscimento della grafia Microsoft Ink e la gestione dell’identità dell’utente.

Diversamente dai visori per realtà virtuale, che spesso richiedono un collegamento via cavo con un computer e pure di potenza elevata, tutta l’elettronica necessaria, compresa la HPU (Holographic Processing Unit) e le batterie è contenuta nel visore. L’utilizzatore quindi è completamente libero di muoversi senza l’intralcio di cavi.

HoloLens non è una soluzione proprietaria di Microsoft, ma una piattaforma di riferimento in base alla quale altri costruttori possono sviluppare prodotti, così come Surface punta a essere il punto di riferimento per i tablet e convertibili su piattaforma Microsoft, ma esistono decine di prodotti simili. Per esempio, è stato recentemente annunciato il visore Acer Mixed Reality Developer Edition, che sarà distribuito a breve ad alcuni sviluppatori e avrà un costo più contenuto.

Sviluppare applicazioni per HoloLens

Come molte tecnologie che hanno una forte carica innovativa, uno degli ostacoli alla diffusione è la scarsa consapevolezza di quel che ci si può fare davvero da parte dei potenziali clienti, ma anche degli sviluppatori stessi, che pur conoscendo nei dettagli le potenzialità, possono avere qualche difficoltà nel capirne l’implicazione in casi d’uso concreti.

Per evitare che, come spesso accade, HoloLens rimanga una soluzione in attesa di un problema, Avanade ha creato team di lavoro con competenze eterogenee, tra le quali ha molto peso quella sull’experience design. Ha inoltre adottato un sistema di sviluppo ispirato ai principi “Agile” e messo a punto un format di workshop che nello spazio di una giornata lavorativa porta a individuare insieme al potenziale cliente una soluzione concreta e realizzabile in poco tempo.

Dopo una presentazione delle possibilità di HoloLens, sviluppatori e clienti fanno una sorta di brainstorming per identificare le possibili applicazioni pratiche. Queste poi vengono mappate su un grafico in base all’utilità pratica e alla facilità di implementazione (e relativo costo), per poi concentrarsi sulle soluzioni che siano realizzabili velocemente come prodotto minimo funzionante (Minimum Viable Product, MVP), e che al contempo offrano buone possibilità di provocare un impatto positivo sul business negli sviluppi futuri.

Le aree di intervento su cui Avanade sta concentrando l’attenzione per quanto riguarda le soluzioni HoloLens sono principalmente tre:

• Miglioramento dell’efficienza: riduzione dei viaggi (telepresenza), ridurre la necessità di provare diverse soluzioni nella pratica (potendole sperimentare nella realtà mixata)
• Aumento della produttività: ridurre i guasti o minimizzare i tempi di riparazione, identificandoli più velocemente, in particolare nei sistemi complessi.
• Riduzione del tempo necessario a prendere decisioni: realizzare simulazioni che permettano di avere un quadro della situazione (cosa molto utile anche per la formazione, in particolare in ambienti pericolosi o difficilmente raggiungibili)

In Italia, il team di Avanade che si occupa di HoloLens fa parte nella divisione Digital, guidata da Roberto Chinelli, che è stato il nostro anfitrione nell’esplorazione della mixed reality, e vanta competenze in tutti i settori che compongono l’esperienza “HoloLens”: grafica, audio, sceneggiatura, experience design e, ovviamente, programmazione.

Dal punto di vista dello sviluppo, Hololens è membro di diritto della famiglia Windows, e le funzioni di realtà virtuale saranno inserite nel prossimo Creator Update di Windows 10.

Da questo punto di vista, HoloLens è integrato nel modello “One Windows”, che prevede che la versione core del sistema sia la stessa su tutti i dispositivi: dalla versione per Raspberry Pi a Windows Server, passando per smarthone, desktop, XBox e – appunto – HoloLens. Gli strumenti di sviluppo e i metodi sono quindi quelli che gli sviluppatori Windows conoscono bene. HoloLens è un dispositivo Windows di classe Enterprise, e supporta quindi le funzionalità di sicurezza come Bitlocker, Active Directory, device management eccetera.

L’esperienza HoloLens

Indossato il visore e regolata la distanza dello schermo per adattarla alla propria capacità visiva (è possibile portare i propri occhiali sotto al visore, se necessario), si entra nella mixed realità, e la sensazione che si prova è… Straordinariamente ordinaria.

Potendo vedere l’ambiente reale circostante, l’esperienza è completamente diversa da quella della realtà virtuale di tipo immersivo. Elementi di interfaccia, finestre e ologrammi sono sì posizionati nello spazio, ma immediatamente percepibili come sintetici. I punti di riferimento spaziali percepiti sono quelli reali, per cui non c’è il rischio di provare vertigini da movimento o mal di mare, come accade invece con la VR, soprattutto ai soggetti particolarmente sensibili.

A seconda dell’applicazione, prima di poter iniziare a muoversi e interagire con l’ambiente può essere necessario osservare lentamente tutti i lati della stanza, per permettere al sistema di mappare tutte le superfici: non solo le pareti, ma anche arredamento, tavoli e sedie verranno riconosciuti come oggetti solidi, su cui sarà possibile appoggiare ologrammi, e che dovranno essere aggirati da eventuali personaggi in movimento, non potendo compenetrarli.

Il Vostro Affezionatissimo, esplora il sistema solare, materializzatosi davanti ai suoi occhi negli uffici di Avanade a Milano.

Dopo un paio di tentativi, i gesti per controllare l’interfaccia sono acquisiti in modo naturale: facendo comparire la mano dal basso dell’inquadratura della videocamera e aprendo le dita (come a mimare un’esplosione), si apre l’interfaccia grafica; stringendo due dita a pinza su una voce di menu o un ologramma, lo si seleziona o afferra.

L’aspetto forse più problematico è che l’area in cui compaiono gli ologrammi è una striscia orizzontale che occupa forse meno della metà del campo visivo in altezza. Per vedere ologrammi in alto o in basso è necessario alzare o abbassare la testa, e gli ologrammi che non sono inquadrabili per intero appaiono troncati.

Quel che si perde in realismo e spettacolarità, si guadagna in efficienza, praticità e usabilità. Essendo progettato per utilizzi professionali, HoloLens deve poter essere usato anche a lungo senza disagi per l’utente, offrirgli massima libertà di movimento e possibilità di interazione facile e veloce. Obiettivi che, nella breve dimostrazione fatta, ci sembrano centrati.