Uncertainty, risk, and ignorance

Un forecast può dire che uno scenario ha il 72% di probabilità, ma la decisione deve fare i conti anche con quello che il modello non vede: uno shock esterno, un dato mancante, un cambiamento nei comportamenti. Distinguere incertezza, rischio e ignoranza serve esattamente a questo, a separare ciò che possiamo stimare da ciò che dobbiamo ancora imparare a governare.

Il problema da risolvere

Capire questa distinzione risolve un problema concreto: riconoscere quando un dato sostiene davvero una decisione e quando invece nasconde un’assunzione, un bias o una causalità fragile. Non è un concetto da manuale, è uno strumento di lavoro per migliorare scelte reali. La differenza la fa il rischio, che possiamo quantificare, contro l’ignoranza, che non sappiamo nemmeno come mettere in conto.

Come ragionare sul dato

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Il ragionamento segue un ordine. Prima si formula la domanda, poi la si traduce in unità osservabili, si valuta la qualità del dato e infine si decide. Quando si salta un passaggio l’analisi può sembrare elegante e restare fragile, perché manca il controllo che la renderebbe affidabile.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice
Measure	Which signal represents the phenomenon?	Metric, source, granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, owner, next check

I quattro elementi della misura

Possiamo descrivere il problema come una relazione tra quattro elementi: unità di analisi, segnale, baseline e decisione.

Element	Operational Definition
Unit	observation, hypothesis, variable, causal mechanism
Signal	strength of evidence, causal consistency, robustness of assumptions, cost of decision error
Baseline	alternative explanation, counterfactual, comparable group, no-intervention scenario
Decision	accept, reject, or reformulate an explanation before business use

La regola pratica resta semplice: una misura serve solo se riduce l’incertezza su una decisione specifica. Se non cambia una scelta è documentazione; se cambia una scelta senza essere passata da controlli è un rischio.

Un caso pratico

Prendi un comitato che legge una crescita della retention come prova del successo di una nuova iniziativa. Prima di agire conviene separare quello che si osserva, come lo si spiega, cosa si sta assumendo e cosa si decide.

Evidence	Prudent interpretation	Decision
Positive signal but not isolated	Phenomenon exists, but cause uncertain	Look for baseline or holdout
Segment with different response	Average effect hides heterogeneity	Analyze cohorts or subgroups
Increasing operating cost	Evaluate on the margin	Apply economic thresholds

Esercizi per metterla in pratica

Comincia dal livello base. Descrivi una decisione reale che dipende dalla distinzione tra incertezza, rischio e ignoranza: obiettivo, metrica primaria, baseline, rischio principale e azione prevista.

Al livello intermedio costruisci una tabella con almeno tre segmenti o scenari, indicando per ognuno il segnale, una spiegazione alternativa plausibile e il controllo necessario prima di decidere.

Il livello research-grade chiede un piano di validazione vero: ipotesi, dati necessari, criteri di esclusione, soglia decisionale e un controllo da fare dopo la decisione. Aggiungi cosa ti farebbe cambiare idea, altrimenti stai solo raccogliendo conferme.

Come materiali usa case study decisionali, metriche di prodotto, esperimenti, DAG semplici, report analitici e serie storiche simulate. In assenza di dati reali, genera un dataset sintetico con almeno 200 righe e colonne per tempo, segmento, outcome e variabile di esposizione.

L’errore da evitare

L’errore più comune è trattare questa distinzione come una definizione da ricordare invece che come un protocollo da seguire. Lo si riconosce quando arriva una metrica senza baseline, un grafico senza l’ipotesi che dovrebbe testare o una raccomandazione che non dice quanto costa sbagliare.

Il controllo è sempre lo stesso: se questo risultato fosse falso o instabile, quale decisione sbaglierei? Quando la risposta non è chiara, la lezione non è ancora diventata pratica.

Domande di controllo

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Summary

Distinguere incertezza, rischio e ignoranza è una competenza che lega concetto, dato e decisione. Conviene allenarla partendo da un problema reale, dando forma al segnale, cercando una baseline credibile, lavorando su un esempio e chiudendo con un controllo concreto. È quello che ti permette di dire con onestà cosa il modello stima e cosa invece resta fuori dalla sua portata.