Data epistemology: what you can really know

In una dashboard i numeri sembrano oggettivi. Arrivano da log, sensori, pipeline e modelli di pulizia, e per questo li trattiamo come se fossero la realtà stessa. Ma ogni dato è il prodotto di scelte: come lo abbiamo raccolto, come lo abbiamo definito, quali trasformazioni gli abbiamo applicato. L’epistemologia dei dati ti chiede di considerare il dato per quello che è, cioè un’evidenza costruita, non una finestra trasparente sul mondo.

Quando un dato regge una decisione

La domanda che conta nel lavoro quotidiano è una: questo dato sostiene davvero la scelta che sto per fare, oppure nasconde assunzioni, bias, una causalità fragile o una domanda formulata male? Non è una questione astratta. Riguarda decisioni concrete che devono migliorare grazie a dati affidabili e a una soglia di errore dichiarata in anticipo. Senza questo aggancio alla pratica, la conoscenza resta decorativa e non diventa mai competenza.

Il percorso dall’osservazione alla scelta

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Il percorso è sequenziale: prima si formula la domanda, poi la si traduce in unità osservabili, quindi si valuta la qualità del dato e solo alla fine si decide. Chi salta un passaggio ottiene analisi eleganti ma fragili.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice, not a curiosity
Measure	Which signal represents the phenomenon?	Metric, source, and granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or plausible counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, owner, and next check

Quattro elementi da tenere insieme

Conviene leggere l’epistemologia dei dati come una relazione tra quattro elementi, ciascuno con una definizione operativa che puoi applicare subito.

Element	Operational Definition
Unit	observation, hypothesis, variable, causal mechanism, or evidence criterion
Signal	strength of evidence, causal consistency, robustness of assumptions, cost of decision error
Baseline	alternative explanation, counterfactual, comparable group, or no-intervention scenario
Decision	accept, reject, or reformulate an explanation before using it in business

La regola pratica è semplice: una misura serve solo se riduce l’incertezza su una decisione specifica. Se non cambia una scelta, è documentazione. Se cambia una scelta senza controlli, è rischio.

Un caso di retention da leggere bene

Un comitato legge una crescita della retention come prova che la nuova iniziativa ha funzionato. Chi applica l’epistemologia dei dati separa con attenzione l’osservazione dalla spiegazione, l’assunzione dalla decisione, e si rifiuta di presentare un numero come se fosse già una conclusione che si regge da sola.

Evidence	Prudent interpretation	Resulting decision
Positive signal but not isolated	The phenomenon exists, but the cause is uncertain	Look for baseline or holdout
Segment with different response	The average effect hides heterogeneity	Analyze cohorts or subgroups
Increasing operating cost	Evaluate the outcome on the margin	Apply economic thresholds

Esercizio su tre livelli

Al livello base scrivi in cinque righe una decisione reale collegata all’epistemologia dei dati: obiettivo, metrica primaria, baseline, rischio principale e azione prevista. Usa una sola metrica primaria.

Al livello intermedio costruisci una tabella con almeno tre segmenti o scenari. Per ciascuno indica il segnale, una possibile spiegazione alternativa e il controllo necessario prima di decidere.

Al livello research-grade progetta un piano di validazione: ipotesi, dati necessari, criterio di esclusione, soglia decisionale e controllo post-decisione. Specifica cosa ti farebbe cambiare idea.

Per i materiali, usa case study decisionali, metriche prodotto, risultati di esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, crea un dataset sintetico con 200-500 righe, includendo almeno una colonna temporale, una colonna segmento, una metrica di outcome e una variabile di esposizione.

L’errore che svuota tutto

L’errore più comune è trattare l’epistemologia dei dati come una definizione da mandare a memoria invece che come un protocollo decisionale. Capita quando si presenta una metrica senza baseline, un grafico senza ipotesi o una raccomandazione senza valutare il costo dell’errore.

Il controllo che lo smaschera è una domanda: “Se questo risultato fosse falso o instabile, quale decisione sbaglierei?” Se non sai rispondere, la lezione è rimasta sulla carta.

Quiz or checkpoint

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Operational Summary

L’epistemologia dei dati collega concetto, dato e decisione. Si studia partendo da un problema reale, formalizzando il segnale, cercando una baseline credibile, costruendo un esempio e chiudendo con un controllo pratico. È questo passaggio che trasforma la conoscenza in uno strumento per decidere in modo consapevole, anche quando i dati sono incerti.