Che cosa conta come evidenza

Questa è la lezione di apertura del binario ml-tabellare, e parte da una domanda che sembra banale e non lo è. Un esperimento, un’intervista, un log di prodotto e una metrica finanziaria raccontano pezzi diversi dello stesso problema. Prima di scegliere quale ascoltare devi stabilire che cosa conta come evidenza per la decisione che hai davanti. Da qui parte ogni analisi seria. È la soglia che separa i dati che pesano dal rumore che distrae.

L’evidenza in una frase

Conta come evidenza solo il dato che riduce l’incertezza su una decisione precisa, con soglia di errore dichiarata prima di usarlo. Un numero che non cambia nessuna scelta è solo un fatto interessante.

Quando un dato sostiene davvero una decisione

Il lavoro con i dati ruota attorno a una domanda scomoda: quando un numero sostiene davvero una scelta e quando invece nasconde assunzioni implicite, bias o nessi causali fragili. Avere numeri non basta. Bisogna sapere se quei numeri significano qualcosa per la decisione da prendere. Non importa quanto un concetto sia affascinante in astratto. Importa quale decisione migliora quando lo applichi con dati affidabili e con una soglia di errore dichiarata in anticipo.

Cinque passi per valutare un dato

1. Scrivi la decisione che deve cambiare e la soglia che la farebbe cambiare.
2. Traduci il fenomeno in un segnale con metrica, fonte e granularità.
3. Dichiara cosa conterebbe come prova contraria prima di raccogliere i dati.
4. Scegli una baseline indipendente dal segnale che vuoi usare.
5. Verifica stabilità su segmenti e periodi diversi e documenta cosa resta incerto.

L’errore più comune

L’errore tipico è trattare il criterio di evidenza come una definizione da ricordare invece che come un protocollo per decidere. Lo riconosci quando vedi una metrica senza baseline, un grafico senza ipotesi o una raccomandazione che ignora il costo dell’errore. Il controllo da fare è chiedersi: se questo risultato fosse falso o instabile, quale decisione sbaglieresti. Se non hai una risposta chiara, la lezione è rimasta sulla carta.

Riferimenti: Ginsberg, J. e colleghi (2008). Detecting influenza epidemics using search engine query data. Nature. Lazer, D. e colleghi (2014). The parable of Google Flu. Science.

Il caso Google Flu Trends

Nel 2008 Google lanciò Flu Trends, che stimava la diffusione dell’influenza dalle query di ricerca quasi in tempo reale, con un articolo su Nature a documentarne l’accuratezza iniziale. Nella stagione 2012-2013 il sistema sovrastimò nettamente i casi, perché le ricerche crescevano anche per l’attenzione mediatica e non solo per i contagi reali. Nel 2014 Lazer e colleghi su Science usarono il caso per mostrare le trappole dei big data: volume senza modello causale misura anche l’ansia, non solo la malattia. Da allora Flu Trends è il promemoria standard: associazione forte non è evidenza finché non separi il segnale dal suo contesto.

Verdetto: conta come evidenza solo il dato che riduce l’incertezza su una decisione precisa con soglia di errore dichiarata prima; un numero che non cambia nessuna scelta, per quanto forte sia l’associazione, resta solo un fatto interessante.

Il criterio applicato a una decisione concreta

Metti il criterio al lavoro su una scelta di prodotto. La decisione è: investire o no in una campagna di re-engagement per gli utenti inattivi da 30 giorni. La soglia che farebbe cambiare la decisione è un tasso di ritorno attivo del 5% o più. Il segnale è il tasso di riattivazione, misurato sugli utenti che tornano a usare il prodotto entro 14 giorni dalla campagna. La prova contraria è dichiarata prima: se il tasso di riattivazione del gruppo trattato non supera quello del gruppo di controllo, la campagna non è evidenza. La baseline è il tasso di riattivazione spontanea degli ultimi sei mesi, misurato prima della campagna. La stabilità si verifica per segmento, per esempio mobile contro desktop, e per periodo, confrontando due ondate della campagna. Alla fine, il dato conta come evidenza solo se supera la soglia dichiarata e se la differenza regge su segmenti e periodi diversi.

Un esempio numerico dello stesso protocollo. La baseline di riattivazione spontanea è del 3%. La campagna porta il gruppo trattato al 6%, con il gruppo di controllo fermo al 3,2%. La differenza di 2,8 punti supera la soglia del 5%? No: la soglia dichiarata era il 5% di ritorno attivo, e il 6% la supera. Ma la prova contraria regge: il controllo al 3,2% mostra che senza campagna il ritorno sarebbe stato comunque basso, quindi la differenza è attribuibile alla campagna. Se invece il controllo fosse salito al 5,5%, la differenza si sarebbe assottigliata e la campagna non sarebbe stata evidenza, nonostante il numero assoluto alto. È il confronto con la baseline e con il controllo a decidere, non il numero da solo.

Come riconoscere che stai sbagliando

Quattro sintomi segnalano che il criterio è stato abbandonato. Il primo: la decisione non è scritta da nessuna parte e la discussione parte dal grafico. Il secondo: la soglia di errore viene decisa dopo aver visto i risultati, il che rende ogni risultato accettabile. Il terzo: la baseline è costruita con gli stessi dati del segnale, così il confronto è truccato a monte. Il quarto: la prova contraria non è mai stata dichiarata, quindi nessun risultato può smentire la tesi preferita. Se riconosci uno di questi sintomi nel tuo flusso di lavoro, il problema non è il dato ma il protocollo.

Perché la storia filosofica è pratica

La domanda “che cosa conta come evidenza” sembra astratta, ma decide risultati concreti. Il caso Google Flu Trends lo mostra: un sistema con milioni di query e un articolo su Nature è stato considerato evidenza per anni, finché la stagione 2012-2013 non ha mostrato che l’associazione forte non reggeva al cambiamento di contesto. La stessa struttura si ripete in piccolo ogni giorno: una correlazione tra due metriche di prodotto viene trattata come causa, una metrica senza baseline viene presentata come risultato, una soglia scelta dopo i dati rende ogni esito accettabile. La filosofia dell’evidenza non è un ornamento del corso: è il protocollo che evita di ripetere, su scala più piccola, l’errore di Flu Trends.

Domande per chiudere la lezione

1. Quale decisione precisa deve migliorare grazie a questo dato?
2. Quale baseline indipendente separa il segnale dal rumore?
3. Quale cambiamento di contesto farebbe mentire questo indicatore?
4. Quale soglia di errore hai dichiarato prima di usarlo?
5. Quale risultato, se osservato, ti costringerebbe a cambiare idea?