Secondo una celebre affermazione di Mark Twain ci sono tre tipi di bugie: le bugie, le bugie sfacciate e le statistiche. Oggi molti CIO la pensano allo stesso modo riguardo a metriche e indicatori chiave di prestazione (KPI).

La bontà delle metriche dipende dalla loro fonte. “Troppo spesso le società tecnologiche pagano società di consulenza o analisti per creare metriche basate sulle migliori caratteristiche delle loro offerte“, afferma Judith Hurwitz, CEO di Hurwitz Strategies, una società di consulenza tecnologica. “Pertanto, i CIO devono comprendere i dati dietro le metriche ed essere cauti nel prendere le metriche per valore assoluto”.

L’interpretazione delle metriche è essenzialmente un gioco di numeri e, come con qualsiasi gioco di numeri, è possibile vincere o perdere. Ecco sette modi in cui i leader IT sono spesso fuorviati da KPI e altre metriche aziendali e IT critiche.

1. Non considerare la fonte

Quando si studia una metrica, è importante sapere chi l’ha creata e l’origine dati. I risultati possono essere basati su un sondaggio, per esempio. In tal caso, chiedetevi quante persone sono state intervistate e i ruoli che hanno nelle rispettive organizzazioni. Controllate anche se le metriche si basano su una metodologia ben collaudata. “È importante comprendere la ricerca e i dati alla base delle metriche“, afferma Hurwitz.

Considerate anche lo scopo della metrica. Sarà utilizzata come strumento di pianificazione? In tal caso, aiuterà a determinare una strategia aziendale, la selezione di tecnologie o qualche altra esigenza? “Le metriche sono solo uno strumento per il processo decisionale“, osserva Hurwitz.

2. Mancata collaborazione con il personale in prima linea

Ormai, la maggior parte delle aziende ha raggiunto la maturità dei dati. “Se la vostra azienda dispone di dati, li state sicuramente sfruttando e state cercando di utilizzare i risultati degli analytics per ottenere risultati aziendali positivi“, afferma John Loury, presidente e CEO di Cause + Effect Strategy, una società di consulenza di business intelligence.

Loury ritiene che la maggior parte delle organizzazioni non scavi abbastanza in profondità quando comunica con il personale aziendale in prima linea che utilizzerà le metriche raccolte per prendere decisioni e guidare le azioni. Prima di creare analisi, consiglia di raccogliere i requisiti aziendali da tutte le parti coinvolte. “Ciò significa distillare le metriche fino ai punti dati più rilevanti per ottenere risultati“, osserva Loury. “Date la priorità a ciò che ha un impatto più diretto sulla decisione aziendale che il vostro utente sta cercando di prendere“.

Il suggerimento è sviluppare e affinare le capacità di comunicazione per trasmettere ai membri del team insight basati su metriche. “I CIO  e i responsabili degli analytics devono essere abili nel mettere insieme le metriche chiave che determineranno il maggiore impatto per un team e presentarle in un modo che abbiano senso per l’utente e aiutino a guidarne il comportamento“, afferma Loury.

Inoltre, è giunto il momento per i CIO di affidare ai propri team il compito di comprendere veramente i propri utenti e di creare soluzioni di analisi efficaci e personalizzate. “I giorni in cui i responsabili dei dati e i loro team si affannavano per costruire qualcosa, qualsiasi cosa, e inviarlo ai team aziendali sono passati“, spiega. “Stiamo vivendo con i risultati di quei giorni, in cui i team sono inondati di dashboard che dicono loro tutto e niente“.

3. Trascurare l’importanza del coinvolgimento e dell’equilibrio

Le metriche rappresentano un’eccellente opportunità per il coinvolgimento del personale, nonché per il miglioramento continuo e il controllo dei processi. “La chiave per interpretare correttamente le metriche è coinvolgere l’intero team e utilizzare le metriche per migliorare collettivamente i processi“, afferma Paul Gelter, coordinatore dei servizi CIO presso la società di consulenza aziendale e tecnologica Centric Consulting.

Quando si valutano le metriche, Gelter ritiene che sia essenziale trovare un equilibrio tra costo, qualità e servizio. Le metriche dei costi, per esempio, potrebbero essere monitorate nei ticket completati per individuo, ma la qualità del ticket potrebbe essere ridotta da ticket rielaborati/ripetuti. “Il servizio potrebbe quindi essere influenzato dal tempo di risposta, dal backlog e dal tempo di attività“, osserva. Si tratta di ottenere un equilibrio ottimale.

4. Inseguire i numeri sbagliati

Il tempo è davvero denaro, quindi non sprecate ore preziose esaminando metriche irrilevanti. Identificate chiaramente tutti gli obiettivi prima di decidere quali metriche studiare. Nella maggior parte dei casi, le metriche che non supportano o riflettono le opzioni decisionali future non sono necessarie e, peggio ancora, distraggono e fanno perdere tempo.

Una volta che l’obiettivo è stato completamente definito, “dedicate tempo sufficiente alla comprensione dei fattori che causano la fluttuazione delle singole metriche”, suggerisce Alex Levin, co-fondatore dello studio di tecnologia e design L+R. “Successivamente, esaminate come le singole metriche sono collegate tra loro e cosa è probabile che accada durante le diverse fasi del ciclo di vita di un’iniziativa o di un progetto che potrebbe influenzare direttamente i KPI monitorati”.

Nel frattempo, non sprecare il tempo del personale nascondendo o accumulando conclusioni. Levin consiglia di condividere i risultati dello studio con il tuo team, assicurando che ogni individuo possa utilizzare approfondimenti basati sulla metrica per migliorare le prestazioni e/o i risultati.

5. Lavorare da soli

La ricerca e lo studio delle metriche non dovrebbero essere uno sforzo solitario. Mike Capone, CEO di Qlik, sviluppatore di piattaforme di analisi e integrazione dei dati, ed ex CIO, consiglia di lavorare con i responsabili delle aree funzionali fin dall’inizio per raccogliere e applicare preziosi dettagli contestuali. “Questi input e queste relazioni offrono al CIO e al team IT il giusto livello di comprensione di ciò che sta effettivamente accadendo nel business…per supportare gli obiettivi operativi a breve e lungo termine“, spiega. Capone consiglia inoltre di costruire solide partnership di consulenza con C-suite e altri responsabili aziendali chiave.

6. Fidarsi troppo dei numeri

Una buona dose di scetticismo può prevenire conclusioni errate. Parafrasando la battuta di Twain su statistiche e bugie, c’è sempre la possibilità che i dati raccolti siano di per sé viziati in qualche modo.

Per esempio, la dimensione del campione potrebbe essere troppo piccola, la scala temporale potrebbe essere disattivata o chiunque abbia raccolto i dati potrebbe avere la propria conclusione da promuovere. “È di vitale importanza comprendere completamente come vengono raccolti i dati e cosa è incluso nell’ambito prima di poter prendere una decisione su ciò che stanno dicendo“, afferma Brian Winters, CTO presso ERP ECI Software Solutions.

In effetti, qualsiasi metrica può essere fuorviante, soprattutto se non si ha una buona comprensione generale dei dati. “Le metriche di sistema possono essere particolarmente fuorvianti perché spesso forniscono indicazioni per una parte molto piccola di un sistema grande e complesso“, osserva Winters.

7. Non vedere oltre le statistiche

Le metriche, sebbene in genere preziose, potrebbero non raccontare l’intera storia. In effetti, una qualsiasi metrica può occasionalmente portare a conclusioni completamente sbagliate. “A volte, bisogna scavare più a fondo con altre metriche meno ovvie, per determinare cosa sta realmente accadendo“, spiega Adi Gelvan, CEO e co-fondatore della società di sviluppato software Speedb.

Per esempio, rilevare un elevato livello di utilizzo della memoria potrebbe implicare che un’applicazione stia sovraccaricando la memoria. “Ma potrebbe esserci in gioco qualcosa di completamente diverso, come un componente che non sta ripulendo la memoria abbastanza velocemente“, afferma Gelvan. Ulteriori indagini possono indicare il vero collo di bottiglia, che potrebbe non essere affatto nella memoria. “Per esempio, se il motore di archiviazione non è in grado di scaricare in modo efficace i dati sui dischi mentre il consumo di I/O è elevato, la memoria si riempirà rapidamente e influirà sulle prestazioni del sistema“.

Per proteggersi da indicazioni fuorvianti, è importante pensare in modo critico e non saltare immediatamente a quella che sembra essere la conclusione più ovvia. Man mano che i processi aziendali e le architetture di dati diventano più grandi e più complesse, molte cose possono andare storte e trovare la causa principale può essere complicato. “L’approccio migliore è circondarsi di un team eterogeneo di esperti in materia con cui consultarsi prima di prendere decisioni“, consiglia Gelvan.