Scientific method applied to data work

Nel lavoro analitico ci si imbatte di continuo in ipotesi attraenti ma mai verificate, come l’idea che “gli utenti attivi comprano di più perché amano il prodotto”. Prima di trasformare un’intuizione del genere in strategia, serve un metodo che separi l’osservazione dalla spiegazione, e la predizione dalla verifica. Il metodo scientifico applicato ai dati è quello che impedisce a una storia plausibile di passare per prova.

Quando un dato regge una decisione

Il problema concreto è capire quando un dato sostiene davvero una decisione e quando invece nasconde assunzioni implicite, bias cognitivi, una causalità fragile o una domanda mal posta. Non si tratta di discutere in astratto il valore del metodo, ma di migliorare decisioni reali applicando dati affidabili con una soglia di errore esplicita.

Il percorso dall’osservazione alla scelta

Il modello mentale è sequenziale: si parte da una domanda concreta, si traducono i concetti in unità osservabili, si valuta la qualità del dato e solo alla fine si decide. Chi salta un passaggio ottiene analisi eleganti ma fragili.

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Step	Guiding question	Expected output
Framing	Which decision needs to change?	A concrete choice, not a curiosity
Measure	Which signal represents the phenomenon?	Metric, source, and granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or plausible counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, owner, and next check

Quattro elementi da tenere insieme

Conviene leggere il metodo come una relazione tra quattro elementi, ciascuno con una definizione che puoi applicare subito.

Element	Operational Definition
Unit	Observation, hypothesis, variable, causal mechanism or evidence criterion
Signal	Strength of evidence, causal coherence, robustness of assumptions, cost of decision error
Baseline	Alternative explanation, counterfactual, comparable group or no-intervention scenario
Decision	Accept, reject, or reformulate an explanation before applying it in business

La regola pratica è semplice: una misura serve solo se riduce l’incertezza su una decisione specifica. Se non cambia una scelta, resta documentazione. Se cambia una scelta senza controlli, diventa un rischio.

I cinque passi del metodo per chi analizza i dati

Il primo passo è l’osservazione, cioè rispondere alla domanda “cosa vedo?”. Si parte da un dato concreto, non da un’opinione. “Il tasso di conversione è calato del 5% nell’ultima settimana” è un’osservazione valida, mentre “mi sembra che il sito sia peggiorato” è vaga e soggettiva.

Poi viene l’ipotesi: “cosa potrebbe spiegarlo?”. Formula ipotesi falsificabili, non narrative generiche. “Il calo è causato da un bug nel form di pagamento introdotto lunedì” è testabile, mentre “forse gli utenti sono meno interessati” non porta da nessuna parte.

Il terzo passo è la predizione, ed è quello che si salta più spesso: “se l’ipotesi è vera, cosa dovrei vedere?”. Se davvero è il bug del form, il calo dovrebbe concentrarsi sulle pagine di checkout e sparire per gli utenti che pagano con PayPal, che bypassa il form.

Il quarto passo è la verifica: “cosa vedo realmente?”. Segmenti i dati, esegui le query, controlli la predizione. Se il calo è del 12% per chi usa il form e dello 0% per chi paga con PayPal, il bug è confermato.

L’ultimo passo è l’iterazione: “cosa faccio con questa conoscenza?”. Correggi il bug, monitori la metrica e documenti l’apprendimento, per esempio attivando un alert automatico sul tasso di conversione al prossimo deploy che tocca il form di pagamento.

Il framework DIBBs di Spotify

Spotify applica il metodo scientifico attraverso il framework DIBBs (Data, Insight, Belief, Bet). Ogni decisione passa per quattro fasi:

1. Data: quali dati abbiamo?
2. Insight: cosa suggeriscono i dati?
3. Belief: qual è la nostra ipotesi su come funziona il mondo?
4. Bet: quale azione intraprendiamo per testare l’ipotesi?

Quello che cambia è il legame tra ogni “bet” e un “belief” falsificabile. Quando una scommessa fallisce non è un errore personale, ma un avanzamento di conoscenza.

Una checklist prima di analizzare

1. Before starting, write down the hypothesis to test, not just the general goal.
2. Define what would confirm or disprove the hypothesis before looking at the data.
3. After the analysis, compare results with the initial prediction and learn even from mistakes.

Quality control

Always check completeness, duplicates, timezones, changed definitions, and excluded segments. Many analyses fail because the data measures a different behavior than the team believes it observes.

Interpretation by segments

La media aggregata è solo un punto di partenza. Segmenta per canale, coorte, piano, paese, device e maturità utente. Se due segmenti si muovono in direzioni opposte, la media fuorvia e porta a decisioni sbagliate.

Operational decision

Ogni analisi deve chiudersi con una scelta concreta: continuare, fermare, iterare, investire, rimuovere o approfondire. Se il metodo non cambia una decisione, manca il collegamento tra metrica e azione.

Verification metrics

Dopo l’intervento, definisci una metrica primaria e due guardrail. La metrica primaria misura il miglioramento atteso; le guardrail evitano di ottenerlo danneggiando retention, fiducia, qualità del dato o sostenibilità.

Un caso di retention da leggere bene

Un comitato legge una crescita di retention come prova che una nuova iniziativa ha funzionato. Applicando il metodo, si distingue l’evidenza dalle assunzioni e dalla decisione, evitando di chiudere troppo in fretta.

Evidence	Prudent interpretation	Resulting decision
Positive signal but not isolated	Phenomenon exists, but cause uncertain	Look for baseline or holdout
Segment with different response	Average effect hides heterogeneity	Analyze cohorts or subgroups
Increasing operating cost	Evaluate on the margin	Apply economic thresholds

Esercizio su tre livelli

Al livello base scrivi in cinque righe obiettivo, metrica primaria, baseline, rischio principale e azione prevista per una decisione reale.

Al livello intermedio costruisci una tabella con almeno tre segmenti o scenari, indicando il segnale, una spiegazione alternativa e il controllo necessario.

Al livello research-grade disegna un piano di validazione: ipotesi, dati necessari, criteri di esclusione, soglia decisionale e controllo post-decisione. Specifica cosa ti farebbe cambiare idea. Per i materiali usa case study decisionali, metriche prodotto, esperimenti, DAG semplici, report analitici e serie storiche simulate. Se non hai dati reali, crea un dataset sintetico con almeno 200 righe.

L’errore che svuota tutto

L’errore comune è trattare il metodo scientifico come una definizione da ricordare invece che come un protocollo decisionale. Presentare metriche senza baseline, grafici senza ipotesi o raccomandazioni che ignorano il costo dell’errore porta esattamente lì.

Il controllo che lo smaschera è una domanda: “Se questo risultato fosse falso o instabile, quale decisione sbaglierei?” Se non sai rispondere, il metodo è rimasto sulla carta.

Quiz or checkpoint

1. What is the concrete decision this lesson should improve?
2. Which baseline makes the result interpretable?
3. Which assumption, if wrong, would change the conclusion?
4. What minimum check would you use before presenting the recommendation?

Operational Summary

Il metodo scientifico applicato ai dati collega concetto, dato e decisione. Si studia partendo da un problema reale, formalizzando il segnale, cercando una baseline credibile, costruendo un esempio e chiudendo con un controllo pratico. È questo che trasforma una storia plausibile in una conoscenza su cui puoi davvero decidere.