La parte difficile dell’analisi dati non è raccogliere numeri. È capire cosa quei numeri stanno davvero dicendo. Capita spesso che un’analisi tecnicamente impeccabile porti a conclusioni sbagliate, perché il ragionamento dietro i numeri ignora come funziona la causalità e quali limiti hanno i dati di partenza.
Problema reale
Nel 2012 uno studio interno di Facebook trovò che gli utenti che cliccavano sul pulsante “Like” restavano più a lungo sulla piattaforma. La lettura sembrava scontata: più Like, più retention. Ma la causa andava nella direzione opposta. Erano gli utenti già più affezionati a usare il Like più spesso. Spingere sui Like non avrebbe trattenuto nessuno.
È un errore che si ripete continuamente e che costa milioni alle aziende. Prendere decisioni quando i dati sono incerti significa, prima di tutto, saper riconoscere queste trappole ed evitarle.
Modello concettuale
Le trappole più frequenti nell’analisi dati sono queste:
- Confondere correlazione e causalità
- Bias di sopravvivenza
- Paradosso di Simpson
- Bias di campionamento
- Bias di conferma
- Negligenza della base rate
- Goodhart’s Law
- Bias di estrapolazione
- Bias di ancoraggio
- Bias di recenza
Ognuna è un modo diverso in cui la lettura dei dati si stacca dalla realtà e porta a decidere male.
Formalizzazione rigorosa
1. correlazione vs causalità
Due variabili che si muovono insieme non vuol dire che una causi l’altra. Senza un disegno sperimentale o un gruppo di controllo non puoi affermare un nesso causale.
Come evitarlo: usa Randomized Controlled Trials (RCT) oppure, quando un RCT non è praticabile, tecniche come Difference-in-Differences per isolare l’effetto causale.
2. survivorship bias
Guardare solo chi “sopravvive” a un processo distorce la lettura dei dati. Pensa agli aerei che rientravano dalle missioni pieni di fori di proiettile, o a un’analisi sui clienti attivi che dimentica chi se n’è andato.
Come evitarlo: raccogli dati anche su chi ha abbandonato o non compare nel dataset principale.
3. paradosso di simpson
Quando aggreghi i dati, puoi nascondere effetti che nei sottogruppi vanno nella direzione opposta. È quello che successe con le ammissioni a Berkeley: il dato complessivo sembrava indicare una discriminazione, ma analizzando facoltà per facoltà il quadro si ribaltava.
Come evitarlo: segmenta sempre i dati per le dimensioni chiave prima di concludere.
4. sampling bias
Un campione che non rappresenta la popolazione produce conclusioni sbagliate. Il caso classico è il sondaggio del Literary Digest del 1936.
Come evitarlo: chiediti chi manca nel campione e se il dataset riflette davvero la popolazione reale.
5. confirmation bias
Cercare solo i dati che danno ragione alla tua ipotesi e scartare quelli che la contraddicono.
Come evitarlo: vai a caccia, attivamente, dei dati che potrebbero smentire la tua conclusione.
6. base rate neglect
Ignorare la probabilità a priori porta a leggere male i risultati.
Come evitarlo: confronta sempre con la baseline storica del segmento specifico.
7. goodhart’s law
Ottimizzare una metrica proxy può danneggiare il business reale, se quella metrica non rispecchia l’obiettivo vero.
Come evitarlo: tieni d’occhio le metriche principali insieme a quelle proxy, non una al posto dell’altra.
8. extrapolation bias
Dare per scontato che il passato predica il futuro, senza tener conto di come cambia il contesto.
Come evitarlo: lavora per scenari invece di affidarti a estrapolazioni lineari.
9. anchoring bias
Il primo numero che vedi condiziona come leggi tutti i numeri successivi.
Come evitarlo: presenta sempre il contesto e i confronti storici accanto al dato.
10. recency bias
Dare troppo peso agli eventi recenti rispetto al quadro complessivo.
Come evitarlo: guarda i dati su finestre temporali abbastanza lunghe da catturare i cicli naturali.
Esempio o caso studio
Il caso amazon e la latenza
Amazon ha misurato con esperimenti controllati che ogni 100 millisecondi di latenza in più costa l’1% delle vendite. Qui la causalità è provata sperimentalmente, al contrario di tante correlazioni osservate senza alcun controllo.
Paradosso di simpson nell’A/B testing
Un test in cui la versione B vince sia su desktop sia su mobile, ma perde nel totale, perché il traffico tra i due segmenti è distribuito in modo molto sbilanciato. Senza segmentare, avresti tratto la conclusione opposta a quella corretta.
Sampling bias nei sondaggi di soddisfazione
Un esempio in codice Python simula come chi risponde ai sondaggi sia una sottopopolazione non rappresentativa, e finisca per gonfiare la soddisfazione media.
Lab / esercizio
Livello base: in un dataset semplice individua una correlazione e valuta se può reggere come nesso causale.
Livello intermedio: segmenta i dati per verificare se è in agguato il paradosso di Simpson.
Livello research-grade: progetta un esperimento controllato (RCT) per misurare l’effetto di una campagna marketing.
Dataset e materiali consigliati: dataset di campagne marketing reali, dati di sondaggi con risposta parziale, esempi di A/B test segmentati.
Errore tipico da evitare
Presentare risultati aggregati senza segmentarli, lasciare fuori il gruppo di controllo, dimenticare i dati mancanti. Sono gli scivoloni più comuni, e portano dritti a decisioni sbagliate.
Quiz o checkpoint
- Qual è la differenza tra correlazione e causalità?
- Cos’è il bias di sopravvivenza e come si manifesta?
- Come si verifica il paradosso di Simpson in un A/B test?
- Perché è importante considerare la base rate?
- Come si può evitare il confirmation bias?
Il punto
L’analisi dati chiede umiltà e rigore. Nessun modello è perfetto, ma conoscere i propri limiti e i bias che ci portiamo dietro permette di decidere meglio. Prima di concludere, fatti sempre due domande: quali alternative spiegherebbero gli stessi numeri, e quali dati mi mancano? È così che l’incertezza diventa un vantaggio invece di un rischio.