import pandas as pd

Lab: redo the metric framework of a real business

Questo lab è una simulazione di lavoro reale. Non basta scegliere metriche belle da presentare: devi mostrare quale decisione guidano, quale errore evitano e quale comportamento potrebbero incentivare. Il livello è introduttivo, ma il criterio è professionale, perché il punto non è accumulare definizioni ma capire quale decisione cambia quando il dato diventa più affidabile.

Il problema da risolvere

Il lab parte da un business in cui ogni reparto ha metriche corrette localmente ma incoerenti tra loro. Il compito è rifare il framework metrico: North Star, KPI tree, segmenti, baseline, guardrail e decisioni associate. Conoscere queste idee in astratto serve a poco; quello che conta è decidere cosa fare quando il team ha dati incompleti, metriche ambigue o vincoli tecnici che rendono fragile la lettura del fenomeno. Una lezione utile separa il segnale dal rumore, dice quale baseline usare e indica quale azione diventa più difendibile dopo l’analisi.

Vanity metric e metriche di sostanza

Il primo passo per ristrutturare un framework metrico consiste nel distinguere nettamente tra metriche di vanità e metriche di sostanza. Le metriche di vanità impressionano superficialmente ma non informano decisioni strategiche. Esempi classici sono il numero totale di utenti registrati, i download di un’app o le visualizzazioni di pagina. Questi numeri tendono a crescere sempre, dando una falsa sensazione di progresso, ma non dicono nulla sulla salute reale del business. Un’azienda può avere milioni di utenti registrati, di cui il 95% inattivo da mesi. Celebrare quel numero è come vantarsi del numero di persone entrate in un negozio senza comprare nulla.

The true compass for an organization must be an outcome, che misuri il valore economico sostenibile generato. Il più delle volte questa metrica non è il fatturato (Revenue), ma il Contribution Margin (Margine di Contribuzione). Il fatturato è un indicatore di volume, non di efficienza o profittabilità. Prendi un servizio di food delivery: potrebbe registrare un Gross Merchandise Volume (GMV) di 100 milioni di euro, una cifra impressionante. Se però per generare quel volume ha speso 30 milioni in sconti agli utenti e 80 milioni per pagare rider e ristoranti, il suo fatturato netto è di 20 milioni (la commissione) e il suo margine di contribuzione è negativo per 10 milioni. Ogni ordine, di fatto, brucia cassa. In questo scenario, spingere per aumentare il GMV senza agire sui costi variabili (sconti, efficienza logistica) porta l’azienda dritta verso l’insolvenza.

Una mappa di lavoro

Per non trasformare il lab in un esercizio teorico, conviene seguire una sequenza fissa. Ogni passaggio deve rendere più chiaro il costo di una decisione sbagliata.

Step	Question to ask	Expected output
Decision	Che cosa cambia se rifacciamo il framework metrico?	Scelta esplicita
Signal	Quale dato osservabile riduce l’incertezza?	Metrica o evento
Baseline	Rispetto a cosa interpretiamo il risultato?	Credible comparison
Vincolo	Che cosa può falsare la lettura?	Assunzione da dichiarare
Action	Quale passo operativo segue?	Raccomandazione controllabile

Rigorous formalization

Formalizzare significa rendere il lab una relazione tra decisione, evidenza e rischio. Non serve a complicare, ma a rendere visibili le assunzioni, così uno stakeholder può discutere il criterio decisionale invece di fidarsi del risultato per autorità.

Element	Operational Definition	Controllo minimo
Unit of analysis	Oggetto su cui misuri il fenomeno	Utente, account, evento, ordine o periodo
Variabile osservata	Segnale che rappresenta il comportamento	Definizione stabile e tracciabile
Baseline	Stato contro cui confronti il segnale	Periodo, segmento, controllo o benchmark
Soglia decisionale	Punto in cui cambia l’azione	Criterio scritto prima della lettura
Rischio residuo	Errore che può restare anche dopo l’analisi	Sensitivity check o revisione qualitativa

La formalizzazione è solida quando un altro analista può riprodurre la logica, criticare le assunzioni e ottenere la stessa decisione partendo dagli stessi dati.

Una traccia operativa per il lab

Il materiale di partenza si condensa in poche aree di controllo. Se un esempio, una formula o un frammento tecnico non chiarisce almeno una di queste aree, va trattato come dettaglio secondario.

Area	Controllo da mantenere
Question	Quale scelta deve cambiare dopo l’analisi
Dato	Quale evento, tabella o metrica rende osservabile il problema
Qualità	Quale errore di raccolta, modellazione o interpretazione può alterare il risultato
Baseline	Quale confronto impedisce una lettura isolata
Action	Quale raccomandazione diventa più difendibile

Esercizio guidato

Comincia dal livello base: scrivi in cinque righe quale decisione concreta dovrebbe migliorare grazie al nuovo framework metrico, indicando metrica, unità di analisi, baseline e rischio principale. Se non riesci a nominare la decisione, il lab è ancora troppo astratto.

Al livello intermedio costruisci una tabella con quattro colonne: segnale osservato, interpretazione prudente, controllo necessario, azione consigliata. Usa almeno un caso in cui il segnale non basta per decidere.

Al livello research-grade trasforma l’esercizio in un memo decisionale che include assunzioni, criteri di esclusione, soglia di intervento, sensitivity check e una proposta di monitoraggio dopo la decisione. Per i dati usa un export reale, una tabella sintetica, una dashboard interna o un notebook di studio: serve almeno una dimensione di segmento, una metrica osservabile e un periodo o baseline di confronto.

Come autovalutazione, prova a rispondere: quale decisione concreta dovrebbe migliorare il lab, quale unità di analisi rende il problema misurabile, quale baseline eviterebbe una lettura isolata, quale assunzione se falsa cambierebbe la conclusione, e quale controllo presenteresti prima di raccomandare un’azione.

Typical mistake to avoid

L’errore più frequente è usare il framework metrico come etichetta invece che come criterio di scelta. Succede quando il team presenta un numero senza dire quale decisione cambia, quale baseline lo rende interpretabile e quale rischio resta aperto. In quel caso il dato sembra preciso, ma non guida l’azione. Il caso del food delivery lo mostra bene: un GMV in crescita può convivere con un margine di contribuzione negativo, e ottimizzare la metrica sbagliata accelera i problemi invece di risolverli.

Summary

Rifare il framework metrico è utile quando riduce l’incertezza su una scelta reale. La forma corretta del lavoro è decisione, segnale, baseline, rischio e azione. Distinguere vanity metric e metriche di outcome, scegliere il margine di contribuzione invece del solo fatturato e collegare ogni numero a una decisione è ciò che trasforma un cruscotto incoerente in uno strumento che orienta davvero il business.