Che cosa conta come evidenza

Un esperimento, un’intervista, un log di prodotto e una metrica finanziaria raccontano pezzi diversi dello stesso problema. Prima di scegliere quale ascoltare devi stabilire che cosa conta come evidenza per la decisione che hai davanti. Da qui parte ogni analisi seria, perché è la soglia che separa i dati che pesano dal rumore che distrae.

Quando un dato sostiene davvero una decisione

Il lavoro con i dati ruota attorno a una domanda scomoda: quando un numero sostiene davvero una scelta e quando invece nasconde assunzioni implicite, bias o nessi causali fragili. Avere numeri non basta. Bisogna sapere se quei numeri significano qualcosa per la decisione che devi prendere. Non importa quanto un concetto sia affascinante in astratto, importa quale decisione migliora quando lo applichi con dati affidabili e con una soglia di errore dichiarata in anticipo.

Modello concettuale

flowchart LR
    A["Osservazione"]
    B["Assunzione"]
    C["Modello"]
    D["Evidenza"]
    E["Decisione"]
    A --> B
    B --> C
    C --> D
    D --> E

Il ragionamento è sequenziale. Prima si formula la domanda, poi la si traduce in unità osservabili, si valuta la qualità del dato e solo alla fine si decide. Quando si salta un passaggio l’analisi resta elegante in superficie e fragile sotto.

Passaggio	Domanda guida	Output atteso
Framing	Quale decisione deve cambiare?	Una scelta concreta, non una curiosità
Misura	Quale segnale rappresenta il fenomeno?	Metrica, fonte e granularità
Confronto	Rispetto a quale baseline interpreto il risultato?	Benchmark o controfattuale plausibile
Azione	Che cosa faccio se il segnale supera la soglia?	Decisione, owner e prossimo controllo

Quattro elementi da mettere a fuoco

Conviene formalizzare che cosa conta come evidenza come una relazione tra quattro elementi:

Elemento	Definizione operativa
Unità	osservazione, ipotesi, variabile, meccanismo causale o criterio di evidenza
Segnale	forza dell’evidenza, coerenza causale, robustezza delle assunzioni e costo dell’errore decisionale
Baseline	spiegazione alternativa, controfattuale, gruppo comparabile o scenario senza intervento
Decisione	accettare, rifiutare o riformulare una spiegazione prima di usarla in un contesto aziendale

La regola pratica è semplice. Una misura serve solo se riduce l’incertezza su una decisione precisa. Se non cambia nessuna scelta è documentazione, e se cambia una scelta senza controlli è rischio.

Esempio: Google Flu Trends

Nel 2008 Google lanciò Flu Trends, un sistema che prevedeva la diffusione dell’influenza in tempo reale a partire dalle query di ricerca. Funzionò bene per un paio d’anni, poi nel 2013 sovrastimò l’epidemia perché confondeva associazione e causalità. Le ricerche crescevano non solo per i contagi reali ma anche per l’ansia alimentata dai media, così Flu Trends finiva per misurare la percezione invece della malattia. È il caso che spiega perché i dati non parlano da soli e perché serve un criterio chiaro per separare l’evidenza dal rumore.

Esercizi

Livello base

Scrivi in cinque righe una decisione reale legata a che cosa conta come evidenza: obiettivo, metrica primaria, baseline, rischio principale e azione prevista.

Livello intermedio

Costruisci una tabella con almeno tre segmenti o scenari. Per ciascuno indica segnale, possibile spiegazione alternativa e controllo necessario prima di decidere.

Livello research-grade

Disegna un piano di validazione: ipotesi, dati necessari, criterio di esclusione, soglia decisionale e controllo post-decisione. Specifica anche cosa ti farebbe cambiare idea.

Dataset e materiali consigliati

Lavora su case study decisionali, metriche di prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, costruisci un dataset sintetico da 200-500 righe con almeno una colonna temporale, una di segmento, una metrica di outcome e una variabile di esposizione.

L’errore più comune

L’errore tipico è trattare il criterio di evidenza come una definizione da ricordare invece che come un protocollo per decidere. Lo riconosci quando vedi una metrica senza baseline, un grafico senza ipotesi o una raccomandazione che ignora il costo dell’errore. Il controllo da fare è chiedersi: “Se questo risultato fosse falso o instabile, quale decisione sbaglierei?”. Se non hai una risposta chiara, la lezione è rimasta sulla carta.

Quiz e checkpoint

1. Qual è la decisione concreta che questa lezione dovrebbe migliorare?
2. Quale baseline rende interpretabile il risultato?
3. Quale assunzione, se sbagliata, cambierebbe la conclusione?
4. Quale controllo minimo useresti prima di presentare la raccomandazione?

Riepilogo operativo

Decidere che cosa conta come evidenza è la competenza che tiene insieme concetto, dato e decisione. La impari partendo da un problema reale, mettendo a fuoco il segnale, cercando una baseline credibile, costruendo un esempio concreto e chiudendo con un controllo pratico. È questo passaggio dalla definizione al protocollo che trasforma la conoscenza in qualcosa di usabile davanti a una scelta.