Scientific method applied to data work

Nel lavoro analitico compaiono di continuo ipotesi attraenti mai verificate. Un esempio è l’idea che gli utenti attivi comprino di più perché amano il prodotto: prima di trasformarla in strategia serve un metodo che separi l’osservazione dalla spiegazione e la predizione dalla verifica. Il metodo scientifico applicato ai dati impedisce a una storia plausibile di passare per prova.

Il metodo scientifico in una frase

Il metodo scientifico applicato ai dati trasforma un’intuizione in una decisione affidabile solo quando l’ipotesi è dichiarata prima, la verifica può smentirla e il risultato cambia davvero una scelta. Tutto il resto è storytelling con i numeri.

I cinque passi del metodo per chi analizza i dati

Il primo passo è l’osservazione: cosa vedo. Si parte da un dato concreto, non da un’opinione. Un calo del tasso di conversione nell’ultima settimana è un’osservazione valida. L’impressione che il sito sia peggiorato è invece vaga e soggettiva.

Poi viene l’ipotesi: cosa potrebbe spiegarlo. Formula ipotesi falsificabili, non narrative generiche. Un bug nel form di pagamento introdotto lunedì è testabile. Un generico calo di interesse degli utenti non porta da nessuna parte.

Il terzo passo è la predizione, ed è quello che si salta più spesso: se l’ipotesi è vera, cosa dovrei vedere. Se davvero è il bug del form, il calo dovrebbe concentrarsi sulle pagine di checkout. Chi paga con metodi che bypassano il form dovrebbe restarne fuori.

Il quarto passo è la verifica: cosa vedo realmente. Segmenti i dati, esegui le query e controlli la predizione contro una baseline, cioè un punto di confronto indipendente. Solo se il segnale regge alla segmentazione puoi parlare di conferma.

L’ultimo passo è l’iterazione: cosa faccio con questa conoscenza. Correggi, monitori la metrica e documenti l’apprendimento. Un esempio è attivare un alert automatico sul tasso di conversione a ogni deploy che tocca il pagamento.

Il framework DIBBs di Spotify

Spotify applica il metodo scientifico attraverso il framework DIBBs (Data, Insight, Belief, Bet). Ogni decisione passa per quattro fasi: dati disponibili, insight che ne ricavi, belief esplicita su come funziona il mondo, bet che mette alla prova la belief.

Quello che cambia è il legame tra ogni bet e una belief falsificabile. Quando una scommessa fallisce non è un errore personale. È un avanzamento di conoscenza.

Una checklist prima di analizzare

1. Before starting, write down the hypothesis to test, not just the general goal.
2. Define what would confirm or disprove the hypothesis before looking at the data.
3. After the analysis, compare results with the initial prediction and learn even from mistakes.

Il metodo in sei passi operativi

1. Scrivi la decisione che deve cambiare e l’ipotesi che la guida, in forma falsificabile.
2. Traduci l’ipotesi in un segnale osservabile con metrica, fonte e granularità.
3. Dichiara prima di guardare i dati cosa confermerebbe e cosa smentirebbe l’ipotesi.
4. Scegli la baseline di confronto: gruppo di controllo, periodo precedente o controfattuale plausibile.
5. Esegui la verifica segmentando i dati e confrontando il segnale con la predizione iniziale.
6. Traduci il risultato in una scelta con owner, metrica primaria e prossimo controllo.

Quality control

Controlla sempre completezza, duplicati, timezone, definizioni cambiate e segmenti esclusi. Per timezone si intende il fuso orario registrato nei dati. Molte analisi falliscono perché il dato misura un comportamento diverso da quello che il team crede di osservare.

Interpretation by segments

La media aggregata è solo un punto di partenza. Segmenta per canale, coorte, piano, paese, device e maturità utente. Se due segmenti si muovono in direzioni opposte, la media fuorvia e porta a decisioni sbagliate.

Operational decision

Ogni analisi deve chiudersi con una scelta concreta: continuare, fermare, iterare, investire, rimuovere o approfondire. Se il metodo non cambia una decisione, manca il collegamento tra metrica e azione.

Verification metrics

Dopo l’intervento, definisci una metrica primaria e due guardrail. La metrica primaria misura il miglioramento atteso. Le guardrail sono metriche di sicurezza che non devono peggiorare, come retention, fiducia, qualità del dato o sostenibilità.

L’errore che svuota tutto

L’errore comune è trattare il metodo scientifico come una definizione da ricordare invece che come un protocollo decisionale. Presentare metriche senza baseline, grafici senza ipotesi o raccomandazioni che ignorano il costo dell’errore porta esattamente lì.

Il controllo che lo smaschera è una domanda: se questo risultato fosse falso o instabile, quale decisione sbaglieresti. Se non sai rispondere, il metodo è rimasto sulla carta.

Un caso che ha cambiato la medicina

Nel 1847 Ignaz Semmelweis, medico all’ospedale di Vienna, nota che nel reparto seguito dagli studenti di medicina la mortalità per febbre puerperale supera il 18%, contro il 2% del reparto seguito dalle ostetriche. Formula un’ipotesi falsificabile, le particelle cadaveriche trasportate dalle mani, e impone il lavaggio con calce clorata: la mortalità crolla al 2% anche nel primo reparto. La comunità medica rifiuta comunque la conclusione per decenni, perché contraddice la teoria dominante dei miasmi. È il metodo scientifico in forma pura e il suo fallimento sociale insieme: ipotesi dichiarata, intervento misurabile con numeri netti, e una responsabilità che non si esaurisce nel pubblicare il risultato.

Verdetto: il metodo scientifico vince sullo storytelling con i numeri solo quando l’ipotesi è dichiarata prima, la verifica può smentirla e il risultato cambia una decisione; se non sai quale scelta sbaglieresti davanti a un risultato falso, il metodo è rimasto sulla carta.

Domande per chiudere la lezione

1. Quale decisione concreta deve cambiare grazie a questa analisi?
2. Quale ipotesi falsificabile hai dichiarato prima di guardare i dati?
3. Quale baseline rende il segnale interpretabile invece che decorativo?
4. Cosa faresti se la verifica smentisse l’ipotesi di partenza?