Edge AI Vision, l’intelligenza nelle telecamere: il caso DPControl

Lenovo è noto a tutti come produttore hardware ma molti non sanno del suo programma dedicato all’intelligenza artificiale (AI), che propone infrastrutture, software operativo, e supporto a un ecosistema mondiale di ISV e startup. Ecosistema di cui fa parte anche l’italiana DPControl (DPC), specializzata in visione artificiale, reti neurali, AI e telecamere edge.

Più precisamente DPC, che ha sede a Nocera Inferiore (Salerno), si presenta come pioniere della “Edge AI Vision”, la capacità di estrarre dati rilevanti elaborando grandi volumi di immagini fisse e video appunto “all’edge”, cioè nella stessa telecamera, grazie alle reti neurali. Le sue soluzioni personalizzate hanno applicazioni in molti settori, tra cui Industrial IoT, Factory automation, Logistica, Automotive, Security & biometrics, e Smart city. Ambito quest’ultimo in cui DPC è stata recentemente protagonista con Sony di tre progetti pilota di Smart City per la città di Roma riguardanti la sicurezza dei pedoni, pensiline smart, e un’app per i posti di parcheggio liberi.

Abbiamo parlato con Mario Vigliar, CEO di DPControl, e Valerio Rizzo, AI EMEA Head di Lenovo, per capire come è nata questa partnership e a quali risultati ha portato.

Valerio Rizzo (Lenovo)

“L’AI è un mercato molto complesso, un insieme di tecnologie pervasive con molti campi di applicazione in molti settori, per cui Lenovo ha definito una strategia che va ben oltre l’hardware”, spiega Rizzo. “Una strategia basata su tre pilastri: infrastrutture di data center ad hoc, uno strato di machine learning operation software per l’orchestrazione dei carichi di lavoro su infrastrutture HPC – un aspetto poco conosciuto di Lenovo -, e un ecosistema di ISV e startup specializzate su diversi settori e campi di applicazione dell’AI, che oggi comprende oltre 50 realtà a livello mondiale, di cui DPControl è una delle più interessanti in ambito AI Vision”.

In particolare agli ISV del suo programma AI, sottolinea Rizzo, Lenovo fornisce l’hardware per particolari tipi di applicazione, da server dedicati alla creazione di modelli di deep learning e reti neurali al training di questi modelli, fino al deployment e alla parte di inference: “Servono macchine con caratteristiche particolari sia fisiche che computazionali, in particolare per raggiungere sull’edge livelli di performance che di solito si raggiungono solo nei data center”.

“Nell’AI da sempre, anche quando non era di moda”

“DPControl ha sempre lavorato nel mondo dell’AI anche quando l’AI non era di moda”, ci spiega Vigliar. “È nata 20 anni fa e nel frattempo ha cambiato pelle tre volte, seguendo l’evoluzione della Computer Vision. All’inizio, intorno al 2000, la CV si faceva con hardware dedicato ma commerciale e, specialmente nel settore industriale, il subset di funzionalità ottenibile era limitato. C’era chi rispondeva moltiplicando l’hardware, noi abbiamo sempre preferito sviluppare algoritmi pensati per dimensionare l’hardware al minimo, perché tanto hardware significa problemi di riscaldamento, ripetibilità bassa degli esperimenti e molti altri problemi”.

Dopo 5-6 anni, continua Vigliar, DPC ha raggiunto il limite di questo approccio, e ha iniziato a fare componenti programmabili, diventando così fornitore di grandi silicon maker europei come STmicroelectronics e Infineon con suoi prodotti di compressione video e filtraggio antirumore.

Mario Vigliar (DPControl)

“Poi abbiamo capito che si poteva ulteriormente sintetizzare la proposta, rimanendo in ambito “fabless”, cioè costruendo i circuiti senza perdere di vista l’applicazione, in questo caso le telecamere: per cui siamo diventati costruttori di telecamere intelligenti. A questo punto, era il 2016, siamo stati acquisiti da un cliente, il gruppo TTM di Reggio Emilia, e siamo diventati di fatto la realtà di ricerca e sviluppo del gruppo, che copre l’intera filiera in Italia, dalla scelta del sensore, implementazione, algoritmi, costruzione dell’elettronica, testing, certificazione, confezione e vendita del prodotto. In DPC siamo 14, ma io sono anche CTO dell’intero gruppo, e in questo ruolo ho un team di 38 persone, tutte dedicate all’R&D”.

Un’esigenza nata da due casi concreti

La relazione con Lenovo, continua l’AD di DPC, “è nata nel momento in cui stavamo cercando un server per fare una cosa molto specifica: partire da reti neurali grandi per addestrare reti neurali piccole”.

Una esigenza nata da due casi concreti. “Il primo è stato la realizzazione insieme a Sony di una proof-of-concept di alcune applicazioni di smart city per la città di Roma, in cui appunto dovevamo addestrare delle reti neurali per scalarle verso il basso fino a inserire delle capacità di elaborazione nel primo sensore di immagini intelligente al mondo, di Sony appunto, da inserire in telecamere per il monitoraggio di pedoni e slot di parcheggio. Siamo riusciti ad aumentare di 2 ordini di grandezza il limite di calcolo e a ridurre di 4 ordini di grandezza il consumo energetico”.

Il secondo caso è per un cliente di DPC che fa ispezione automatica di circuiti stampati assemblati, misurando le tolleranze di montaggio sulle schede, con qualità fino a 50 micron su immagini 3D. “Per questo cliente abbiamo generato un sistema basato su 6 telecamere, tutte sviluppate da noi, per realizzare l’immagine 3D di queste schede. Questo sistema genera 55 GB di dati al secondo, continuamente 24/7, e richiede latenze bassissime, compatibili con una linea di produzione”.

“Gestiamo set di dati da 2TB a 10TB ciascuno, e volevamo mantenerli in loco”

Questi, sottolinea Vigliari, sono solo due esempi di come le telecamere edge abbiano un potenziale incalcolabile in molti settori, ma pongano anche molte sfide. “Gestiamo decine di set di dati, da 2 TB a 10 TB, e volevamo mantenerli in loco. Di solito l’elaborazione delle immagini avviene in un server ad alte prestazioni a cui la telecamera invia i dati. Nel nostro caso invece l’elaborazione deve avvenire nell’hardware della telecamera. Questo è possibile se si addestrano reti neurali a fornire risultati rapidi e accurati utilizzando risorse di calcolo minime”.

L’addestramento di queste reti neurali, continua Vigliar, ha aumentato la complessità dei modelli di deep learning di DPC di 100 volte, facendo crescere anche il consumo di risorse di CPU e GPU. “Grazie alla partecipazione al programma per startup NVIDIA Inception, stavamo già utilizzando quattro GPU avanzate NVIDIA A100 Tensor Core per addestrare le nostre reti neurali. Tuttavia l’infrastruttura che avevamo, basata su workstation, creava un collo di bottiglia in termini di prestazioni di calcolo”.

Il tempo per l’addestramento delle reti neurali è sceso di 28 volte

DPC aveva quindi bisogno di una nuova infrastruttura per formare le reti neurali, e dopo aver valutato diverse soluzioni di data center, ha selezionato il server ad alte prestazioni Lenovo ThinkSystem SR670 con adattatore di rete NVIDIA ConnectX 2x100GbE a bassa latenza.

“Lenovo ci ha aiutato a configurare il sistema formato dal server e dalle GPU in termini di capacità di storage, consumo energetico e ingombro fisico: non solo abbiamo aumentato la velocità di elaborazione, abbiamo anche semplificato notevolmente la nostra topologia di rete”.

Da quando DPC ha effettuato la migrazione da ambiente workstation a un singolo server, ha ridotto il tempo necessario per l’addestramento da sette giorni ad appena sei ore: “Quindi siamo 28 volte più veloci di prima”, conclude Vigliar. “Possiamo effettuare più cicli nella stessa quantità di tempo – e questo ci consente di espanderci in nuove aree di ricerca, far evolvere i sistemi più promettenti e accelerare l’innovazione, portando più velocemente sul mercato le nostre soluzioni di telecamere edge”.