Measurement theory: what it means to measure well

Misurare non vuol dire contare, vuol dire catturare il concetto che ci interessa davvero. Capita spesso che un team voglia misurare l’engagement contando i minuti passati nell’app, salvo accorgersi che un utente confuso resta dentro più a lungo di uno soddisfatto. La metrica è precisa, ma misura la cosa sbagliata. Qui sta il problema che la measurement theory aiuta a riconoscere: la differenza tra ciò che misuri e ciò che vorresti misurare.

Il problema da risolvere

La domanda pratica è una sola: quando un dato sostiene davvero una decisione, e quando invece nasconde un’assunzione, un bias o una domanda formulata male? Un dato interessante in astratto non basta. Deve cambiare una scelta concreta, poggiare su una fonte affidabile e portare con sé una soglia di errore dichiarata. Senza questi tre ingredienti resta un numero che fa scena in una slide.

Come ragionare sul dato

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Il percorso ha un ordine preciso. Prima si formula la domanda, poi la si traduce in qualcosa di osservabile, quindi si valuta quanto è buono il dato e solo a quel punto si decide. Quando si salta un passaggio l’analisi può sembrare elegante e restare comunque fragile, perché manca il pezzo che la rende affidabile.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice
Measure	Which signal represents the phenomenon?	Metric, source, granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision and next control

I quattro elementi della misura

La measurement theory tiene insieme quattro elementi, e conviene definirli in modo operativo invece che astratto.

Element	Operational Definition
Unit	observation, hypothesis, variable, causal mechanism, or evidence criterion
Signal	strength of evidence, causal consistency, robustness of assumptions, cost of decision error
Baseline	alternative explanation, counterfactual, comparable group, or no-intervention scenario
Decision	accept, reject, or reformulate an explanation before using it

La regola che lega tutto è semplice: una misura serve solo se riduce l’incertezza su una decisione specifica. Se non cambia una scelta, allora è documentazione, e va bene così purché lo si sappia. Se cambia una scelta ma non è stata sottoposta a controlli, è un rischio mascherato da evidenza.

Un caso pratico

Immagina un comitato che legge una crescita della retention come prova che la nuova iniziativa ha funzionato. La measurement theory chiede di separare tre piani che di solito vengono confusi: cosa mostra l’evidenza, come la interpretiamo con prudenza e cosa decidiamo di conseguenza.

Evidence	Prudent interpretation	Resulting decision
Positive signal but not isolated	Phenomenon exists, cause uncertain	Look for baseline or holdout
Segment with different response	Average effect hides heterogeneity	Analyze cohorts or subgroups
Increasing operating cost	Evaluate result on the margin	Apply economic thresholds

Letto così, il numero smette di essere una conclusione che si regge da sola e torna a essere quello che è: un indizio dentro un ragionamento più ampio.

Esercizi per metterla in pratica

Parti dal livello base. Scrivi in cinque righe una decisione reale che dipende da una misura: obiettivo, metrica primaria, baseline, rischio principale e azione prevista. Il vincolo delle cinque righe serve a costringerti a essere concreto.

Al livello intermedio costruisci una tabella con almeno tre segmenti o scenari. Per ognuno indica il segnale che osservi, una possibile spiegazione alternativa e il controllo che faresti prima di decidere. È l’esercizio che allena a non fermarsi alla prima lettura del dato.

Il livello research-grade chiede un piano di validazione vero: ipotesi, dati necessari, criteri di esclusione, soglia decisionale e un controllo da fare dopo aver deciso. Scrivi anche cosa ti farebbe cambiare idea, perché un’analisi che non può essere smentita non sta misurando nulla.

Per i materiali vanno bene case study decisionali, metriche di prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, costruisci un dataset sintetico con 200-500 righe, una colonna temporale, una colonna di segmento, una metrica di outcome e una variabile di esposizione.

L’errore da evitare

L’errore più frequente è trattare la measurement theory come una definizione da ricordare invece che come un protocollo da applicare. Si riconosce subito: una metrica presentata senza baseline, un grafico senza l’ipotesi che dovrebbe verificare, una raccomandazione che non dice quanto costa sbagliare. La domanda di controllo è sempre la stessa: se questo risultato fosse falso o instabile, quale decisione sbaglierei? Se non sai rispondere, la lezione non è ancora entrata nel lavoro.

Domande di controllo

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Summary

La measurement theory tiene insieme tre cose che tendiamo a confondere: il concetto che vogliamo cogliere, il dato che usiamo per coglierlo e la decisione che ne dipende. Conviene studiarla partendo da un problema reale, dare forma al segnale, cercare una baseline credibile, lavorarla su un esempio e chiudere con un controllo concreto. È il passaggio che trasforma una definizione in qualcosa che usi davvero quando devi decidere sotto incertezza.