Che cosa conta come evidenza

Un esperimento, un’intervista, un log di prodotto e una metrica finanziaria raccontano pezzi diversi dello stesso problema. Prima di scegliere quale ascoltare, devi decidere che cosa conta come evidenza per quella decisione. Che cosa conta come evidenza apre il modulo perché ogni analisi inizia da questa soglia.

Una scena da cui partire

Leggi la lezione come fondazione del mestiere analitico. La filosofia non entra per decorazione: entra quando devi distinguere dato, prova, interpretazione e decisione sotto incertezza.

• Contesto: Quale tipo di evidenza è più adatto alla decisione?
• Metodo: Quale fonte sembra forte ma risponde a un’altra domanda?
• Applicazione: Come dichiareresti il livello di prova prima della raccomandazione?

Perché a un analista serve la filosofia

La risposta breve: perché la statistica ti dice cosa dicono i numeri, ma la filosofia ti dice se quei numeri significano qualcosa. Ogni analista prende ogni giorno decisioni epistemologiche senza saperlo: “questo campione è rappresentativo?” è una domanda epistemologica. “Questa correlazione è spuria?” anche. “Questo modello sta descrivendo la realtà o la sta costruendo?” è la domanda centrale della filosofia della scienza.

In questo modulo tradurremo 2500 anni di pensiero filosofico in strumenti pratici per il lavoro quotidiano con i dati. Aristotele, Hume, Kant, Popper, Kuhn, Pearl — non per erudizione, ma perché le loro idee rispondono a problemi concreti che affronti ogni settimana.

Evidenza: cos’è e perché è contesa

Nel linguaggio comune, “evidenza” significa “prova schiacciante”. In filosofia della scienza, è molto più sottile. Un’evidenza è un’osservazione che supporta (o confuta) un’ipotesi, ma non la dimostra mai definitivamente. Karl Popper, che studieremo, arrivò a dire che un’ipotesi scientifica non può mai essere verificata, solo falsificata. Non puoi dimostrare che “tutti i cigni sono bianchi”, puoi solo cercare un cigno nero — e se lo trovi, l’ipotesi cade.

Nel lavoro con i dati, questo significa che:

• Un p-value < 0.05 non è “prova” di un effetto. È un indizio che merita ulteriore scrutinio, ma può essere prodotto da p-hacking, confondenti non misurati, o semplice rumore.
• Un R² alto non è “prova” di una relazione causale. Un modello può fittare perfettamente i dati passati e fallire completamente nel predire il futuro (overfitting).
• Un campione grande non è “prova” di rappresentatività. Un milione di risposte a un sondaggio volontario su Twitter è meno rappresentativo di 1000 risposte da campionamento casuale stratificato.

Tre livelli di evidenza nell’analisi dati

Proposta di framework (sintesi da Pearl, 2009 e Hernán & Robins, 2020):

Livello	Domanda	Cosa serve per rispondere	Esempio
Associazione	X e Y sono correlati?	Dati osservazionali, statistica descrittiva	”Utenti che usano la feature X passano più tempo nell’app”
Intervento	Se cambio X, Y cambia?	Esperimento randomizzato o modello causale con DAG	”Se aggiungiamo la feature X, il tempo speso aumenta del 12%“
Controfattuale	Cosa sarebbe successo se…?	Modello strutturale completo + assunzioni causali	”Se non avessimo lanciato la feature X, il tasso di churn sarebbe stato del 18% invece che del 14%”

La maggior parte delle analisi aziendali si ferma al Livello 1. Il problema è che le decisioni di business richiedono risposte di Livello 2 o 3. Questo gap — tra l’evidenza che abbiamo (associazione) e l’evidenza che ci serve (causale) — è la fonte di molti errori decisionali “data-driven”.

Caso reale: Google Flu Trends

Nel 2008, Google lanciò Flu Trends, un sistema che prevedeva la diffusione dell’influenza in tempo reale basandosi sulle query di ricerca. L’idea era brillante: invece di aspettare i dati ufficiali del CDC (lag di 2 settimane), Google offriva previsioni quasi in tempo reale. Funzionò bene per un paio d’anni.

Poi, nel 2013, Flu Trends predisse un’epidemia doppia rispetto a quella reale. Cosa era successo? Google aveva scambiato associazione per evidenza. Le query “febbre” e “tosse” erano correlate all’influenza, ma anche all’ansia da influenza alimentata dalla copertura mediatica. Quando i media iniziarono a parlare molto di influenza, più persone cercavano sintomi anche senza essere malate — e il modello si autoalimentava. Flu Trends misurò la percezione dell’influenza, non l’influenza. Il progetto fu silenziosamente abbandonato.

La lezione di Flu Trends è esattamente la lezione di questo modulo: i dati non parlano da soli. Hanno bisogno di un framework filosofico che distingua l’evidenza reale dal rumore ben confezionato.

La mappa del modulo

Questo modulo copre le idee filosofiche essenziali per chi lavora con i dati:

1. Aristotele (le 4 cause): come distinguere i tipi di spiegazione nei modelli
2. Hume (induzione e scetticismo): perché non puoi mai essere sicuro al 100%
3. Popper (falsificabilità): come progettare esperimenti che possono davvero insegnarti qualcosa
4. Kuhn (paradigmi): come le organizzazioni creano “verità” che non sono vere
5. Pearl (causalità): la rivoluzione che ha trasformato la statistica da descrittiva a causale
6. Epistemologia dei dati: cosa puoi davvero sapere
7. Etica: cosa dovresti fare con quello che sai

Ogni lezione prende un filosofo o un concetto, lo spiega in termini concreti, lo applica a un caso reale di analisi dati, e ti dà uno strumento pratico da portare via.

---

Riferimenti:

• Bohannon, J. (2015). “I Fooled Millions Into Thinking Chocolate Helps Weight Loss.” io9.
• Pearl, J. & Mackenzie, D. (2018). The Book of Why. Basic Books.
• Lazer, D. et al. (2014). “The Parable of Google Flu: Traps in Big Data Analysis.” Science, 343(6176), pp. 1203-1205.

Controllo di qualità

Prima di usare che cosa conta come evidenza in una decisione, controlla sempre completezza, duplicati, timezone, definizioni cambiate e segmenti esclusi. Molte analisi apparentemente sofisticate falliscono perché il dato di partenza misura un comportamento diverso da quello che il team crede di osservare.

Interpretazione per segmenti

La media aggregata è solo il punto di partenza. Segmenta per canale, coorte, piano, paese, device e maturità dell’utente. Se due segmenti si muovono in direzioni opposte, la media non rappresenta nessuno dei due e può portare a una decisione sbagliata.

Problema reale

Nel lavoro su fondamenti filosofici dell’analisi dati, Che cosa conta come evidenza serve a risolvere un problema concreto: capire quando un dato sostiene davvero una decisione e quando invece nasconde assunzioni, bias, causalità fragile o una domanda formulata male. La domanda non è se il concetto sia interessante in astratto, ma quale decisione migliora quando lo applichi con dati affidabili e con una soglia di errore esplicita.

Questa lezione va studiata come uno strumento operativo: entro la fine devi saper Comprendere il problema analitico e il contesto decisionale; Applicare esempi, metriche e controlli a casi reali. Se non riesci a collegare il concetto a una scelta reale, la conoscenza resta decorativa e non diventa competenza.

Modello concettuale

flowchart LR
    A["Osservazione"]
    B["Assunzione"]
    C["Modello"]
    D["Evidenza"]
    E["Decisione"]
    A --> B
    B --> C
    C --> D
    D --> E

Il modello mentale e sequenziale: prima si formula la domanda, poi si traduce in unità osservabili, quindi si valuta la qualità del dato e solo alla fine si decide. Saltare un passaggio produce analisi eleganti ma fragili.

Passaggio	Domanda guida	Output atteso
Framing	Quale decisione deve cambiare?	Una scelta concreta, non una curiosità
Misura	Quale segnale rappresenta il fenomeno?	Metrica, fonte e granularità
Confronto	Rispetto a quale baseline interpreto il risultato?	Benchmark o controfattuale plausibile
Azione	Che cosa faccio se il segnale supera la soglia?	Decisione, owner e prossimo controllo

Formalizzazione rigorosa

Formalizza Che cosa conta come evidenza come una relazione tra quattro elementi: unità di analisi, segnale, baseline e decisione. Nel contesto di questa lezione l’unità principale e osservazione, ipotesi, variabile, meccanismo causale o criterio di evidenza. Il segnale da osservare deve essere collegato a forza dell evidenza, coerenza causale, robustezza delle assunzioni e costo dell errore decisionale, mentre la baseline deve essere scelta tra spiegazione alternativa, controfattuale, gruppo comparabile o scenario senza intervento.

Una formulazione robusta segue questa logica:

Elemento	Definizione operativa per questa lezione
Unità	osservazione, ipotesi, variabile, meccanismo causale o criterio di evidenza
Segnale	forza dell evidenza, coerenza causale, robustezza delle assunzioni e costo dell errore decisionale
Baseline	spiegazione alternativa, controfattuale, gruppo comparabile o scenario senza intervento
Decisione	accettare, rifiutare o riformulare una spiegazione prima di usarla in un contesto aziendale
Rischio	Confondere correlazione, qualità del dato e causalità decisionale

La regola pratica e semplice: una misura e utile solo se riduce l’incertezza su una decisione specifica. Se non cambia una scelta, e documentazione; se cambia una scelta senza controlli, e rischio.

Esempio o caso studio

Un comitato interpreta una crescita di retention come prova che una nuova iniziativa abbia funzionato. La lezione costringe a distinguere osservazione, spiegazione, assunzione e decisione prima di trasformare il dato in azione.

Applicando Che cosa conta come evidenza, il team costruisce una lettura in tre colonne: cosa sappiamo, cosa assumiamo e quale decisione prendiamo. Questo formato impedisce di presentare un numero come se fosse una conclusione autosufficiente.

Evidenza	Interpretazione prudente	Decisione conseguente
Segnale positivo ma non isolato	Il fenomeno esiste, ma la causa e ancora incerta	Cercare baseline o holdout
Segmento con risposta diversa	L’effetto medio nasconde eterogeneita	Analizzare coorti o sottogruppi
Costo operativo crescente	Il risultato va valutato sul margine	Applicare soglie economiche

Lab / esercizio

Livello base

Prendi una decisione reale collegata a Che cosa conta come evidenza e scrivi in cinque righe: obiettivo, metrica primaria, baseline, rischio principale e azione prevista. Non usare più di una metrica primaria.

Livello intermedio

Costruisci una tabella con almeno tre segmenti o scenari. Per ciascuno indica segnale, possibile spiegazione alternativa e controllo necessario prima di decidere.

Livello research-grade

Disegna un piano di validazione: ipotesi, dati necessari, criterio di esclusione, soglia decisionale e controllo post-decisione. Specifica anche che cosa ti farebbe cambiare idea.

Dataset e materiali consigliati

Usa case study decisionali, metriche prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, crea un dataset sintetico con 200-500 righe e almeno una colonna temporale, una colonna segmento, una metrica di outcome e una variabile di esposizione.

Errore tipico da evitare

L’errore più frequente e trattare Che cosa conta come evidenza come una definizione da ricordare invece che come un protocollo decisionale. In pratica succede quando si presenta una metrica senza baseline, un grafico senza ipotesi, o una raccomandazione senza costo dell’errore.

Un controllo utile è chiedersi: “se questo risultato fosse falso o instabile, quale decisione sbaglierei?”. Se la risposta non è chiara, la lezione non è ancora stata applicata davvero.

Quiz o checkpoint

1. Qual è la decisione concreta che questa lezione dovrebbe migliorare?
2. Quale baseline rende interpretabile il risultato?
3. Quale assunzione, se sbagliata, cambierebbe la conclusione?
4. Quale controllo minimo useresti prima di presentare la raccomandazione?

Riepilogo operativo

Che cosa conta come evidenza e una competenza utile quando collega concetto, dato e decisione. Studiala partendo da un problema reale, formalizza il segnale, cerca una baseline credibile, costruisci un esempio e chiudi con un controllo pratico. Categoria: Fondamenti. Difficoltà: advanced. Tempo stimato: 18 min.