import pandas as pd

import numpy as np

Trappole analitiche e bias nel marketing

Un modello segnala lift, una dashboard evidenzia un segmento brillante e il team vuole trasformare il tutto in budget. Prima di firmare, devi chiederti se stai vedendo causalità, selezione del campione, sopravvivenza dei dati o solo una metrica scelta dopo aver guardato il risultato. Questa lezione serve a fermare gli errori intelligenti prima che sembrino insight, e va letta come una review critica del ragionamento, non della sintassi. Le trappole più costose raramente sono bug evidenti: sono scorciatoie mentali che trasformano dati parziali in decisioni troppo sicure.

Il problema da riconoscere

Non servono sofisticazioni statistiche per cadere in errore. Basta una metrica guardata senza contesto, e il danno aumenta proprio quando l’analisi sembra pulita. Un’analisi perfetta sui dati sbagliati è più pericolosa dell’assenza di analisi, perché produce fiducia ingiustificata.

Il punto di queste trappole è che operano in silenzio. Nessun alert ti avvisa quando una finestra di attribuzione taglia metà delle conversioni di un canale, o quando una media nasconde due segmenti che vanno in direzioni opposte. Per questo conviene conoscerle in anticipo: l’incentivo, il controllo che le smonta e la decisione che bloccheresti finché non hai una baseline credibile.

Le sette trappole che distorcono ogni decisione marketing

La prima è l’attribution window bias. Misuri le conversioni entro 7 giorni dal click, ma il canale A converte in media in 2 giorni e il canale B in 17. Con una finestra di 7 giorni catturi il 100% delle conversioni di A e perdi circa il 55% di quelle di B. Il risultato è un ROAS di A gonfiato del 30-50% rispetto a B. La soluzione non è allungare la finestra per tutti, è misurare la curva di decadimento specifica per canale. Un grafico con finestre a 1, 3, 7, 14, 30 giorni mostra la velocità di conversione reale di ogni canale.

La seconda è l’incrementality illusion, il problema di eBay, ed è endemico. Un utente vede un display ad, cerca il brand su Google, clicca l’ad di brand search, compra. Il modello last-click dà il 100% del merito alla brand search. Ma quell’utente avrebbe comprato comunque? Per saperlo serve un gruppo di controllo: utenti statisticamente identici che non vedono l’ad. Senza controllo stai misurando correlazione spacciata per causalità. La regola operativa: ogni canale sopra i 100.000 euro di spesa annua deve avere un holdout test permanente su almeno il 5% del traffico.

La terza è il survivorship bias. “Il LTV medio dei nostri clienti è 840 euro” è quasi sempre falso perché calcolato solo sui clienti ancora attivi. I clienti che hanno churnato dopo 45 giorni con LTV di 57 euro non appaiono nel calcolo. Il LTV reale, includendo tutti i clienti mai acquisiti, è tipicamente del 20-40% inferiore. In SQL la differenza è tra AVG(ltv) WHERE status = 'active' e AVG(ltv) su tutta la coorte originale. La seconda query è più lenta, meno gratificante e molto più vera.

La quarta è il paradosso di Simpson. Facebook Ads ha un ROAS del 380%, Google Ads del 290%. A livello aggregato Facebook sembra migliore. Ma se segmenti per paese, in ogni paese Google batte Facebook. Il paradosso si risolve quando noti che Facebook è dominante in mercati come Brasile e Indonesia, dove qualsiasi canale ha ROAS strutturalmente più alto per via di CPC più bassi e meno concorrenza, mentre Google è dominante in mercati saturi come USA e Germania. La variabile nascosta, il paese, inverte la conclusione. La regola: ogni confronto tra canali va segmentato almeno per paese, dispositivo e stagione.

La quinta è la regression to the mean. Gennaio: ROAS 820%. Febbraio: ROAS 340%. Il CMO scrive una mail allarmata. Probabilmente non è successo niente: gennaio era un outlier positivo e febbraio è un ritorno alla media. Tagliare il budget perché “le performance stanno crollando” è la reazione istintiva e sbagliata. Il test corretto è calcolare la media mobile a 3 mesi e la deviazione standard. Un mese fuori di 2 deviazioni standard è rumore, non un trend. Servono 3 o 4 periodi consecutivi fuori norma per dichiarare un cambiamento strutturale.

La sesta è il confirmation bias. “Fammi un’analisi che mostri che TikTok funziona.” Il data scientist trova segmenti dove TikTok performa bene, metriche dove il ROAS è accettabile, benchmark dove il confronto è favorevole. Non sta mentendo, sta facendo ciò che il cervello umano fa automaticamente: cercare conferme. Il framework anti-confirmation è il test di falsificazione: prima di iniziare l’analisi, scrivi “cosa mi farebbe concludere che TikTok NON funziona?”. Se non hai una risposta, stai solo cercando prove a favore della tua ipotesi preferita.

La settima è il sampling bias nei sondaggi. Misuri l’NPS con un pop-up in-app e risponde il 4% degli utenti. Quel 4% non è un campione casuale: è composto quasi interamente da promoter entusiasti e detractor arrabbiati, le uniche due categorie abbastanza motivate per rispondere. I passivi, che sono la maggioranza silenziosa, restano sottorappresentati. Il risultato è un NPS polarizzato che non riflette la popolazione reale. La correzione: pesa le risposte per tasso di risposta per segmento, oppure usa campionamento stratificato invitando attivamente un campione rappresentativo.

Il caso Uber: quando tutti i modelli mentono insieme

Nel 2017-2018 Uber spese circa 120 milioni di dollari in campagne di app-install su decine di network pubblicitari. I dashboard mostravano numeri spettacolari: milioni di installazioni attribuite, costo per installazione in calo, volumi in crescita. Poi Uber assunse una società di forensic analytics per un audit indipendente. Il risultato, emerso da un’analisi incrementale con holdout geografici, fu devastante: circa il 65% delle installazioni “attribuite” erano in realtà organiche. L’utente cercava “Uber” sull’app store dopo aver visto un ad, e tecnicamente sì, ma il modello last-click prendeva il credito per qualcosa che sarebbe successo comunque. Le app-install ads funzionavano come una tassa, non come un investimento. Uber tagliò oltre 100 milioni di spesa pubblicitaria e le installazioni organiche non calarono.

Questo caso, documentato in un’inchiesta del Wall Street Journal e poi analizzato accademicamente da Gordon, Zettelmeyer, Bhargava e Chapsky (2019) su Marketing Science, illustra la trappola più pericolosa di tutte: quando tutti i modelli concordano nel darti ragione, è il momento di costruire un gruppo di controllo.

Il framework delle tre domande anti-trappola

Prima di presentare qualsiasi numero a un decisore, fermati e rispondi a tre domande. Non sono negoziabili.

La prima è “rispetto a cosa?”. Ogni metrica ha bisogno di un ancoraggio: il mese scorso, lo stesso mese dell’anno scorso, il gruppo di controllo, il benchmark di settore. Un numero senza confronto non è un dato, è rumore con i decimali.

La seconda è “cosa sto non vedendo?”. Quali dati mancano, quali segmenti sono esclusi, quali canali non sono tracciati, quali utenti sono spariti dal dataset. È qui che si annida la fiducia ingiustificata.

La terza è “cosa mi farebbe cambiare idea?”. Se non hai una risposta pronta, sei in confirmation bias e stai costruendo una cattedrale di conferme. Il test è scrivere la frase “concluderei che questa strategia NON funziona se vedessi X”. Se non riesci a scrivere X, non hai ancora iniziato l’analisi.

Laboratorio: costruire un sistema anti-trappola

Nel primo esercizio, di detection, ti viene dato un dataset di 50.000 conversioni con 3 canali e relativi touchpoint. Il modello last-click mostra che il Canale C prende il 62% del credito. Segmenta per recency_days, i giorni tra ultimo touchpoint e acquisto, e verifica se c’è attribution window bias. Per ogni canale calcola la percentuale di conversioni catturate entro 1, 3, 7, 14 e 30 giorni.

Nel secondo esercizio, sul paradosso di Simpson, costruisci un esempio sintetico in Python dove due canali hanno ROAS invertito a livello aggregato rispetto a ogni segmento. Spiega la variabile nascosta e mostra come emerge dal dato.

np.random.seed(42)
n = 10000

# Paese A: Google migliore di Facebook
df_a = pd.DataFrame({
    'country': 'A',
    'channel': np.random.choice(['Google', 'Facebook'], n//2),
    'roas': np.where(np.random.random(n//2) `< 0.5`,
                     np.random.normal(4.5, 1.0, n//2),  # Google
                     np.random.normal(3.5, 1.0, n//2))  # Facebook
})

# Paese B: Google migliore di Facebook (ma ROAS strutturalmente più alti)
df_b = pd.DataFrame({
    'country': 'B',
    'channel': np.random.choice(['Google', 'Facebook'], n//2, p=[0.2, 0.8]),
    'roas': np.where(np.random.random(n//2) `< 0.5`,
                     np.random.normal(7.0, 1.5, n//2),  # Google (raro)
                     np.random.normal(6.0, 1.5, n//2))  # Facebook (dominante)
})

df = pd.concat([df_a, df_b])
print("Aggregato:", df.groupby('channel')['roas'].mean())
print("Per paese:", df.groupby(['country', 'channel'])['roas'].mean())

Nel terzo esercizio progetti un holdout test per un canale email marketing con 200.000 utenti. Definisci la dimensione minima del gruppo di controllo per una potenza statistica dell’80%, la metrica primaria, la metrica di guardrail, la durata minima e il criterio di stop anticipato.

Strumenti e automazione

Il lavoro dell’analista non finisce con la query corretta. Automatizzare generazione, validazione e distribuzione dei risultati è ciò che distingue un’analisi una tantum da una capacità analitica permanente.

Se usi dbt, crea un modello con test unique e not_null sulle chiavi e aggiungi un test di volume: il numero di righe non deve scendere sotto il 50% della media mobile a 7 giorni. Se usi Airflow o Prefect, programma l’esecuzione quotidiana con alert su Slack o email in caso di fallimento. L’obiettivo non è la perfezione statistica, è che nessuno prenda una decisione basata su dati di tre giorni fa senza saperlo.

Errori frequenti e come evitarli

Anche gli analisti esperti cadono in trappole prevedibili quando lavorano con questo tipo di analisi. Il primo errore è confondere correlazione e causalità: due metriche che si muovono insieme non implicano che una causi l’altra, e solo un A/B test o un’analisi controfattuale stabilisce causalità. Ogni dashboard di correlazione andrebbe presentata con un disclaimer esplicito.

Il secondo è ignorare la stagionalità. Confrontare novembre con dicembre senza correggere per l’effetto festività produce insight fuorvianti. Quando la metrica ha componenti stagionali note usa un confronto anno su anno o una media mobile destagionalizzata.

Il terzo è non validare il grain della query. La causa più comune di risultati errati è un grain sbagliato: un JOIN che duplica righe, un filtro applicato troppo tardi, una finestra definita sul dataset sbagliato. Prima di interpretare qualsiasi numero, verifica il conteggio delle righe a ogni step della query.

Riepilogo

Le trappole analitiche diventano gestibili quando le tratti come un processo, non come un’etichetta. Il segnale di un’analisi solida è che dichiara quale decisione cambia, quale baseline rende interpretabile il numero e quale assunzione, se falsa, ribalterebbe la conclusione. La domanda di controllo resta una sola: se questo risultato fosse instabile, quale scelta sbaglierei? Quando tutti i modelli ti danno ragione, costruisci un gruppo di controllo prima di spostare il budget.

---

Riferimenti:

• Blake, T., Nosko, C. & Tadelis, S. (2015). “Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment.” Econometrica, 83(1), pp. 155-174.
• Gordon, B. R., Zettelmeyer, F., Bhargava, N. & Chapsky, D. (2019). “A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook.” Marketing Science, 38(2), pp. 193-225.
• Kohavi, R., Tang, D. & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press. Capitolo 2: “Metrics and Guardrail Metrics.”
• Lewis, R. A. & Rao, J. M. (2015). “The Unfavorable Economics of Measuring the Returns to Advertising.” Quarterly Journal of Economics, 130(4), pp. 1941-1973.