Karl Popper: falsifiability and experimentation

Popper porta nel corso una regola che sembra ovvia e quasi nessuno rispetta: una tesi analitica vale qualcosa solo se accetta il rischio di essere smentita. Quando devi decidere sotto incertezza, questo si traduce in una cosa molto concreta. I test che progetti devono poter cambiare davvero la scelta che hai davanti, altrimenti stai solo cercando applausi per una conclusione già presa.

Il problema di chi cerca conferme

Capita spesso di trovarsi davanti a risultati che sembrano dare ragione a una tesi senza averla mai messa alla prova sul serio. Da lì nascono decisioni costruite su assunzioni fragili, bias di conferma e nessi causali mai verificati. La distinzione che conta è quella tra un dato che sostiene davvero una scelta e un dato che abbiamo cercato apposta perché confermava ciò che già pensavamo. La domanda operativa è una sola: come si trasforma un’ipotesi in uno strumento che orienta una decisione, invece che in una rassicurazione?

Conceptual model

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Lo schema segue il percorso logico di un’analisi. Si parte da una domanda, la si traduce in dati osservabili, si valuta quanto pesa l’evidenza e solo alla fine si decide. Quando si salta uno di questi passaggi l’analisi sembra solida ma poggia sul vuoto.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice, not a curiosity
Measure	Which signal represents the phenomenon?	Metric, source, and granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or plausible counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, owner, and next check

Quattro elementi da definire prima di decidere

Per usare Popper dentro un’azienda servono quattro elementi messi a fuoco in modo operativo:

Element	Operational Definition
Unit	observation, hypothesis, variable, causal mechanism, or evidence criterion
Signal	strength of evidence, causal consistency, robustness of assumptions, cost of decision error
Baseline	alternative explanation, counterfactual, comparable group, or no-intervention scenario
Decision	accept, reject, or reformulate an explanation before acting

Una misura serve a qualcosa solo quando riduce l’incertezza su una decisione precisa. Se non cambia nessuna scelta è documentazione, e se cambia una scelta senza nessun controllo è un rischio travestito da numero.

Esempio: la retention che sembra una vittoria

Un team interpreta l’aumento della retention come la prova che la nuova iniziativa ha funzionato. Applicando Popper, separa quello che vede da quello che conclude:

Evidence	Prudent interpretation	Resulting decision
Positive signal but not isolated	The phenomenon exists, but the cause is uncertain	Seek baselines or control groups
Segment with different response	The average effect hides heterogeneity	Analyze cohorts or subgroups
Increasing operating cost	Evaluate the outcome on the margin	Apply economic thresholds

Letto così, il numero smette di essere una conclusione chiusa e torna a essere un punto di partenza per decidere.

Esercizi

Basic level

Write in five lines a real decision related to Popper: objective, primary metric, baseline, main risk, and planned action. Use only one primary metric.

Intermediate level

Build a table with at least three segments or scenarios. For each indicate signal, possible alternative explanation, and necessary check before deciding.

Research-grade level

Design a validation plan: hypothesis, required data, exclusion criteria, decision threshold, and post-decision control. Specify what would make you change your mind.

Recommended datasets and materials

Lavora su case study decisionali, metriche di prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, costruisci un dataset sintetico da 200-500 righe con almeno una colonna temporale, una di segmento, una metrica di outcome e una variabile di esposizione.

L’errore più comune

L’errore che vedo più spesso è trattare Popper come una definizione da memorizzare invece che come un protocollo per decidere. Lo riconosci quando qualcuno presenta metriche senza baseline, grafici senza ipotesi o raccomandazioni che ignorano il costo dell’errore. Il controllo da fare è semplice: “Se questo risultato fosse falso o instabile, quale decisione sbaglierei?”. Se non sai rispondere, non hai applicato la lezione.

Quiz e checkpoint

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Falsificazione contro verificazione

Prima di Popper la scienza si reggeva sull’induzione: raccogli dati, trovi un pattern, generalizzi. Popper sostenne che l’induzione non ha fondamento logico, perché nessuna quantità di conferme prova che la regola valga in generale. Il metodo che propose ribalta la prospettiva. Prima si formula un’ipotesi falsificabile, cioè un’ipotesi che i dati possono smentire. Poi si cercano attivamente i dati che la contraddicono. Solo se l’ipotesi resiste a questi tentativi la si accetta in via provvisoria.

È esattamente la logica di un A/B test fatto bene. Non si va a caccia della conferma, si prova a falsificare l’ipotesi nulla con criteri e tempi fissati prima di iniziare, non scelti a posteriori quando i numeri fanno comodo.

Einstein e l’eclissi del 1919

La relatività generale di Einstein prevedeva che la luce delle stelle venisse deviata dalla gravità del Sole durante un’eclissi. Eddington organizzò una spedizione per misurare quella deviazione. Se il valore osservato fosse stato diverso dalla predizione, la teoria sarebbe caduta. La misura confermò la previsione, ma il punto di Popper è un altro: la teoria era falsificabile, e per questo era scientifica. L’astrologia, al contrario, non prevede alcun dato che possa smentirla, e proprio per questo resta fuori dalla scienza.

Operational Summary

Per Popper la scienza, e con essa l’analisi dei dati, è una disciplina che decide sotto incertezza usando ipotesi falsificabili e test seri. In pratica significa formulare ipotesi che rischiano di essere smentite, fissare i criteri di falsificazione prima di raccogliere i dati, non guardare i risultati di un test prima del tempo stabilito per evitare il peeking, segmentare i dati per non farsi ingannare dalle medie e legare sempre il risultato a una decisione concreta. Quando questi controlli ci sono, l’analisi smette di cercare conferme e diventa uno strumento affidabile per scegliere.