What counts as evidence

Un esperimento, un’intervista, un log di prodotto e una metrica finanziaria raccontano pezzi diversi dello stesso problema. Prima di scegliere quale ascoltare devi stabilire che cosa conta come evidenza per la decisione che hai davanti. Da qui parte ogni analisi seria, perché è la soglia che separa i dati che pesano dal rumore che distrae.

Quando un dato sostiene davvero una decisione

Il lavoro con i dati ruota attorno a una domanda scomoda: quando un numero sostiene davvero una scelta e quando invece nasconde assunzioni implicite, bias o nessi causali fragili. Avere numeri non basta. Bisogna sapere se quei numeri significano qualcosa per la decisione che devi prendere. Non importa quanto un concetto sia affascinante in astratto, importa quale decisione migliora quando lo applichi con dati affidabili e con una soglia di errore dichiarata in anticipo.

Conceptual model

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Il ragionamento è sequenziale. Prima si formula la domanda, poi la si traduce in unità osservabili, si valuta la qualità del dato e solo alla fine si decide. Quando si salta un passaggio l’analisi resta elegante in superficie e fragile sotto.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice, not a curiosity
Measure	Which signal represents the phenomenon?	Metric, source, and granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or plausible counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, owner, and next check

Quattro elementi da mettere a fuoco

Conviene formalizzare che cosa conta come evidenza come una relazione tra quattro elementi:

Element	Operational Definition
Unit	observation, hypothesis, variable, causal mechanism, or evidence criterion
Signal	strength of evidence, causal coherence, robustness of assumptions, and cost of decision error
Baseline	alternative explanation, counterfactual, comparable group, or no-intervention scenario
Decision	accept, reject or reformulate an explanation before using it in a business context

La regola pratica è semplice. Una misura serve solo se riduce l’incertezza su una decisione precisa. Se non cambia nessuna scelta è documentazione, e se cambia una scelta senza controlli è rischio.

Esempio: Google Flu Trends

Nel 2008 Google lanciò Flu Trends, un sistema che prevedeva la diffusione dell’influenza in tempo reale a partire dalle query di ricerca. Funzionò bene per un paio d’anni, poi nel 2013 sovrastimò l’epidemia perché confondeva associazione e causalità. Le ricerche crescevano non solo per i contagi reali ma anche per l’ansia alimentata dai media, così Flu Trends finiva per misurare la percezione invece della malattia. È il caso che spiega perché i dati non parlano da soli e perché serve un criterio chiaro per separare l’evidenza dal rumore.

Esercizi

Basic level

Scrivi in cinque righe una decisione reale legata a che cosa conta come evidenza: obiettivo, metrica primaria, baseline, rischio principale e azione prevista.

Intermediate level

Build a table with at least three segments or scenarios. For each indicate signal, possible alternative explanation, and necessary check before deciding.

Research-grade level

Draw a validation plan: hypothesis, required data, exclusion criteria, decision threshold, and post-decision check. Also specify what would make you change your mind.

Recommended datasets and materials

Lavora su case study decisionali, metriche di prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, costruisci un dataset sintetico da 200-500 righe con almeno una colonna temporale, una di segmento, una metrica di outcome e una variabile di esposizione.

L’errore più comune

L’errore tipico è trattare il criterio di evidenza come una definizione da ricordare invece che come un protocollo per decidere. Lo riconosci quando vedi una metrica senza baseline, un grafico senza ipotesi o una raccomandazione che ignora il costo dell’errore. Il controllo da fare è chiedersi: “Se questo risultato fosse falso o instabile, quale decisione sbaglierei?”. Se non hai una risposta chiara, la lezione è rimasta sulla carta.

Quiz e checkpoint

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Operational Summary

Decidere che cosa conta come evidenza è la competenza che tiene insieme concetto, dato e decisione. La impari partendo da un problema reale, mettendo a fuoco il segnale, cercando una baseline credibile, costruendo un esempio concreto e chiudendo con un controllo pratico. È questo passaggio dalla definizione al protocollo che trasforma la conoscenza in qualcosa di usabile davanti a una scelta.