Simpson’s paradox e confounding: decidere quando i dati si contraddicono

Il paradosso di Simpson e il confounding mettono in guardia da chi legge i dati aggregati senza guardare la composizione delle popolazioni che ci stanno dentro. Quando un tasso di conversione migliora nel complesso ma peggiora in ogni singolo segmento importante, non sei davanti a un errore di calcolo né a una stranezza statistica. Stai vedendo la composizione e i fattori confondenti che distorcono la lettura del fenomeno.

Quando un dato regge davvero una decisione

Il problema centrale è capire quando un dato sostiene davvero una decisione e quando nasconde assunzioni sbagliate, bias o nessi causali fragili. La domanda che conta non è “il numero è salito o sceso?”, ma “quale decisione cambia grazie a questo numero?”. Simpson e il confounding servono proprio a frenare le conclusioni affrettate che portano a scelte sbagliate.

Conceptual model

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Il modello è sequenziale. L’analisi parte da una domanda chiara, si traduce in dati osservabili, valuta la qualità delle informazioni e infine guida una decisione. Quando si salta un passaggio i risultati restano fragili.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice, not a curiosity
Measure	Which signal represents the phenomenon?	Metric, source, and granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or plausible counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, responsible party, and next check

Quattro elementi da mettere a fuoco

Simpson e il confounding si possono formalizzare come una relazione tra quattro elementi:

Element	Operational Definition
Unit	Observation, hypothesis, variable, causal mechanism or evidence criterion
Signal	Strength of evidence, causal coherence, robustness of assumptions, cost of decision error
Baseline	Alternative explanation, counterfactual, comparable group or no-intervention scenario
Decision	Accept, reject, or reformulate an explanation before applying it in business

La regola pratica è semplice. Una misura serve solo se riduce l’incertezza su una decisione precisa. Se non cambia nessuna scelta è documentazione, e se cambia una scelta senza controlli è rischio.

Esempio: la retention che inganna

Un comitato legge la crescita della retention come prova che la nuova iniziativa ha funzionato. Tenendo a mente Simpson e il confounding, il team separa quello che vede dall’interpretazione prudente e dalla decisione:

Evidence	Prudent interpretation	Decision
Positive signal but not isolated	The phenomenon exists, but the cause is uncertain	Look for baseline or holdout
Segment with different response	The average effect hides heterogeneity	Analyze cohorts or subgroups
Increasing operating cost	Evaluate the outcome on the margin	Apply economic thresholds

Letto così, il numero smette di essere una conclusione chiusa e torna a guidare una decisione.

Esercizi

Basic level

Write in five lines a real decision linked to Simpson’s paradox and confounding: objective, primary metric, baseline, main risk, and planned action.

Intermediate level

Build a table with at least three segments or scenarios. For each indicate signal, possible alternative explanation, and necessary check before deciding.

Research-grade level

Design a validation plan: hypothesis, required data, exclusion criteria, decision threshold, and post-decision check. Specify what would make you change your mind.

Recommended datasets and materials

Lavora su case study decisionali, metriche di prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, costruisci un dataset sintetico con almeno 200 righe e colonne temporali, segmenti, metriche di outcome e variabili di esposizione.

L’errore più comune

L’errore tipico è trattare Simpson e il confounding come una definizione da memorizzare invece che come un protocollo per decidere. Presentare metriche senza baseline, grafici senza ipotesi o raccomandazioni che ignorano il costo dell’errore porta dritti a conclusioni fragili. Il controllo da fare è chiedersi: “Se questo risultato fosse falso, quale decisione sbaglierei?”. Se non hai una risposta chiara, l’analisi non è finita.

Quiz e checkpoint

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Operational Summary

Capire Simpson e il confounding è ciò che tiene insieme concetto, dato e decisione quando i dati aggregati e quelli disaggregati raccontano storie opposte. Si parte da un problema reale, si mette a fuoco il segnale, si cerca una baseline credibile, si costruisce un esempio e si chiude con un controllo pratico. È questo passaggio che trasforma l’analisi in una disciplina capace di decidere sotto incertezza invece di farsi ingannare dalla media.