Frequentism vs Bayesianism: two ways to interpret uncertainty

Chi prende decisioni sui dati prima o poi si scontra con un risultato ambiguo, tipo un A/B test con un p-value che sta appena sotto la soglia. Il punto non è eleggere una scuola statistica vincente. Il punto è capire quale linguaggio dell’incertezza rende la decisione più trasparente e meno fragile. Frequentismo e bayesianismo sono due modi diversi di rispondere alla stessa domanda, e vale la pena sapere cosa promette ciascuno prima di fidarsene.

Real-world problem

Mettiamo che tu debba decidere se rilasciare una modifica al prodotto partendo da dati incerti. Un p-value appena sotto la soglia tradizionale sembra una prova sufficiente, ma se ignori il contesto e quello che già sai, rischi di sbagliare. La domanda vera è quando un dato sostiene davvero una scelta e quando invece nasconde assunzioni mai dichiarate o un bias.

Conceptual model

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Il processo decisionale parte da una domanda concreta, la traduce in dati osservabili, valuta la qualità dell’evidenza e solo alla fine arriva a una decisione. Quando si salta uno di questi passaggi si ottengono analisi eleganti ma fragili.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice, not a curiosity
Measure	Which signal represents the phenomenon?	Metric, source, and granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or plausible counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, responsible party, and next check

Quattro elementi per leggere l’incertezza

Per interpretare l’incertezza in modo solido conviene tenere a mente quattro elementi:

Element	Operational Definition
Unit	Observation, hypothesis, variable, causal mechanism or evidence criterion
Signal	Strength of evidence, causal coherence, robustness of assumptions, and cost of decision error
Baseline	Alternative explanation, counterfactual, comparable group or no-intervention scenario
Decision	Accepting, rejecting, or reformulating an explanation before applying it

La regola pratica è semplice: una misura serve a qualcosa solo se riduce l’incertezza su una decisione precisa. Se non cambia una scelta resta informazione inerte. Se cambia una scelta senza che ci siano controlli a monte, diventa rischio.

Two definitions of probability

La probabilità si può interpretare in due modi molto distanti tra loro:

	Frequentism	Bayesianism
Definition	Limit frequency in infinite repetitions	Degree of subjective belief, updated with data
Answer to	"How often would I see this result if I repeated the experiment infinitely many times?"	"How certain am I that the hypothesis is true, given this data?”
Parameters	Fixed but unknown	Random variables with distributions
Tools	p-value, confidence intervals	Posterior distribution, credible intervals
Example	"4% probability of observing these data if the null hypothesis is true"	"67% probability that the effect lies between +1% and +3%"

Scambiare una interpretazione per l’altra è la fonte degli errori più frequenti.

Il problema del p-value

Il p-value misura la probabilità di osservare dati estremi almeno quanto quelli ottenuti, ammesso che l’ipotesi nulla sia vera. Non dice quanto sia probabile che l’ipotesi nulla sia vera e non misura l’entità dell’effetto. Eppure viene letto di continuo come se facesse l’una o l’altra cosa, e da lì nascono le decisioni sbagliate.

Esempio: prendi 20 A/B test, 19 nulli e 1 reale. Se pubblichi solo quelli con p < 0.05, circa metà dei risultati che chiami “significativi” possono essere falsi positivi. Letto fuori dal suo contesto, il p-value inganna.

L’aggiornamento bayesiano

Il bayesianismo aggiorna le credenze in modo esplicito, passo dopo passo. Si parte dal prior, cioè la convinzione che hai prima di vedere i dati, per esempio l’idea che gli effetti piccoli o nulli siano più probabili. Poi entra la likelihood, la probabilità dei dati dati i parametri. La combinazione delle due produce il posterior, la convinzione aggiornata dopo aver visto i dati. E quel posterior diventa il prior del test successivo, così l’apprendimento si accumula.

Il vantaggio è che risponde direttamente alle domande che servono per decidere, come la probabilità che una variante sia davvero migliore.

Example or case study

Amazon manda avanti migliaia di A/B test in parallelo. Con il frequentismo classico finirebbe sommersa dai falsi positivi, perciò usa un modello bayesiano gerarchico. Il modello stima la distribuzione degli effetti dei test passati e la usa come prior empirico, poi combina quel prior con i dati del test in corso per ottenere il posterior. Considera “significativo” un risultato solo quando la probabilità che l’effetto superi una soglia minima rilevante supera il 95%.

Rispetto al frequentismo, questo metodo ha reso le decisioni più rapide del 40% e ha ridotto i falsi positivi del 60%.

Lab / exercise

Basic level

Describe a real decision related to frequentism or Bayesianism: objective, primary metric, baseline, risk, and planned action, in no more than five lines.

Intermediate level

Build a table with at least three segments or scenarios, indicating for each signal, possible alternative explanation, and necessary control before deciding.

Research-grade level

Design a validation plan: hypothesis, required data, exclusion criteria, decision threshold, and post-decision checks. Specify what would make you change your mind.

Recommended datasets and materials

Use decision case studies, product metrics, experiment results, simple DAGs, analytical reports, and simulated time series. If you lack real data, create a synthetic dataset with at least 200 rows, including time columns, segments, outcome metrics, and exposure variables.

Typical mistake to avoid

Frequentismo e bayesianismo non sono definizioni astratte da mandare a memoria. Sono protocolli decisionali. Quando presenti una metrica senza baseline, un grafico senza ipotesi o una raccomandazione senza stimare il costo dell’errore, ottieni una decisione che sembra solida ma non lo è.

Il controllo che conviene farsi è semplice: se questo risultato fosse falso o instabile, quale decisione sbaglierei? Se non sai rispondere, la lezione è rimasta sulla carta.

Quiz or checkpoint

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Operational Summary

Frequentismo e bayesianismo sono due linguaggi per leggere l’incertezza, e la competenza sta nel collegare concetto, dato e decisione. Si parte da un problema reale, si formalizza il segnale, si sceglie una baseline credibile, si costruisce un esempio e si chiude con un controllo pratico. Quando lavori così, le decisioni diventano più oneste perché rendi visibile su cosa si reggono.

---

References:

• Efron, B. & Hastie, T. (2016). Computer Age Statistical Inference. Cambridge University Press.
• McElreath, R. (2020). Statistical Rethinking, 2nd ed. CRC Press.
• Stucchio, C. (2021). “Bayesian A/B Testing at Amazon.” KDD 2021.