Karl Popper: falsificabilità e sperimentazione

Popper porta nel corso una regola che sembra ovvia e quasi nessuno rispetta: una tesi analitica vale qualcosa solo se accetta il rischio di essere smentita. Quando devi decidere sotto incertezza, questo si traduce in una cosa molto concreta. I test che progetti devono poter cambiare davvero la scelta che hai davanti, altrimenti stai solo cercando applausi per una conclusione già presa.

Il problema di chi cerca conferme

Capita spesso di trovarsi davanti a risultati che sembrano dare ragione a una tesi senza averla mai messa alla prova sul serio. Da lì nascono decisioni costruite su assunzioni fragili, bias di conferma e nessi causali mai verificati. La distinzione che conta è quella tra un dato che sostiene davvero una scelta e un dato che abbiamo cercato apposta perché confermava ciò che già pensavamo. La domanda operativa è una sola: come si trasforma un’ipotesi in uno strumento che orienta una decisione, invece che in una rassicurazione?

Modello concettuale

flowchart LR
    A["Osservazione"]
    B["Assunzione"]
    C["Modello"]
    D["Evidenza"]
    E["Decisione"]
    A --> B
    B --> C
    C --> D
    D --> E

Lo schema segue il percorso logico di un’analisi. Si parte da una domanda, la si traduce in dati osservabili, si valuta quanto pesa l’evidenza e solo alla fine si decide. Quando si salta uno di questi passaggi l’analisi sembra solida ma poggia sul vuoto.

Passaggio	Domanda guida	Output atteso
Framing	Quale decisione deve cambiare?	Una scelta concreta, non una curiosità
Misura	Quale segnale rappresenta il fenomeno?	Metrica, fonte e granularità
Confronto	Rispetto a quale baseline interpreto il risultato?	Benchmark o controfattuale plausibile
Azione	Che cosa faccio se il segnale supera la soglia?	Decisione, owner e prossimo controllo

Quattro elementi da definire prima di decidere

Per usare Popper dentro un’azienda servono quattro elementi messi a fuoco in modo operativo:

Elemento	Definizione operativa
Unità	osservazione, ipotesi, variabile, meccanismo causale o criterio di evidenza
Segnale	forza dell’evidenza, coerenza causale, robustezza delle assunzioni, costo dell’errore decisionale
Baseline	spiegazione alternativa, controfattuale, gruppo comparabile o scenario senza intervento
Decisione	accettare, rifiutare o riformulare una spiegazione prima di agire

Una misura serve a qualcosa solo quando riduce l’incertezza su una decisione precisa. Se non cambia nessuna scelta è documentazione, e se cambia una scelta senza nessun controllo è un rischio travestito da numero.

Esempio: la retention che sembra una vittoria

Un team interpreta l’aumento della retention come la prova che la nuova iniziativa ha funzionato. Applicando Popper, separa quello che vede da quello che conclude:

Evidenza	Interpretazione prudente	Decisione conseguente
Segnale positivo ma non isolato	Il fenomeno esiste, ma la causa è incerta	Cercare baseline o gruppo di controllo
Segmento con risposta diversa	L’effetto medio nasconde eterogeneità	Analizzare coorti o sottogruppi
Costo operativo crescente	Valutare il risultato sul margine	Applicare soglie economiche

Letto così, il numero smette di essere una conclusione chiusa e torna a essere un punto di partenza per decidere.

Esercizi

Livello base

Scrivi in cinque righe una decisione reale legata a Popper: obiettivo, metrica primaria, baseline, rischio principale e azione prevista. Usa una sola metrica primaria.

Livello intermedio

Costruisci una tabella con almeno tre segmenti o scenari. Per ciascuno indica segnale, possibile spiegazione alternativa e controllo necessario prima di decidere.

Livello research-grade

Progetta un piano di validazione: ipotesi, dati necessari, criteri di esclusione, soglia decisionale e controllo post-decisione. Specifica cosa ti farebbe cambiare idea.

Dataset e materiali consigliati

Lavora su case study decisionali, metriche di prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, costruisci un dataset sintetico da 200-500 righe con almeno una colonna temporale, una di segmento, una metrica di outcome e una variabile di esposizione.

L’errore più comune

L’errore che vedo più spesso è trattare Popper come una definizione da memorizzare invece che come un protocollo per decidere. Lo riconosci quando qualcuno presenta metriche senza baseline, grafici senza ipotesi o raccomandazioni che ignorano il costo dell’errore. Il controllo da fare è semplice: “Se questo risultato fosse falso o instabile, quale decisione sbaglierei?”. Se non sai rispondere, non hai applicato la lezione.

Quiz e checkpoint

1. Qual è la decisione concreta che questa lezione dovrebbe migliorare?
2. Quale baseline rende interpretabile il risultato?
3. Quale assunzione, se sbagliata, cambierebbe la conclusione?
4. Quale controllo minimo useresti prima di presentare la raccomandazione?

Falsificazione contro verificazione

Prima di Popper la scienza si reggeva sull’induzione: raccogli dati, trovi un pattern, generalizzi. Popper sostenne che l’induzione non ha fondamento logico, perché nessuna quantità di conferme prova che la regola valga in generale. Il metodo che propose ribalta la prospettiva. Prima si formula un’ipotesi falsificabile, cioè un’ipotesi che i dati possono smentire. Poi si cercano attivamente i dati che la contraddicono. Solo se l’ipotesi resiste a questi tentativi la si accetta in via provvisoria.

È esattamente la logica di un A/B test fatto bene. Non si va a caccia della conferma, si prova a falsificare l’ipotesi nulla con criteri e tempi fissati prima di iniziare, non scelti a posteriori quando i numeri fanno comodo.

Einstein e l’eclissi del 1919

La relatività generale di Einstein prevedeva che la luce delle stelle venisse deviata dalla gravità del Sole durante un’eclissi. Eddington organizzò una spedizione per misurare quella deviazione. Se il valore osservato fosse stato diverso dalla predizione, la teoria sarebbe caduta. La misura confermò la previsione, ma il punto di Popper è un altro: la teoria era falsificabile, e per questo era scientifica. L’astrologia, al contrario, non prevede alcun dato che possa smentirla, e proprio per questo resta fuori dalla scienza.

Riepilogo operativo

Per Popper la scienza, e con essa l’analisi dei dati, è una disciplina che decide sotto incertezza usando ipotesi falsificabili e test seri. In pratica significa formulare ipotesi che rischiano di essere smentite, fissare i criteri di falsificazione prima di raccogliere i dati, non guardare i risultati di un test prima del tempo stabilito per evitare il peeking, segmentare i dati per non farsi ingannare dalle medie e legare sempre il risultato a una decisione concreta. Quando questi controlli ci sono, l’analisi smette di cercare conferme e diventa uno strumento affidabile per scegliere.