Nel 2012 il team di Obama For America aveva una decisione delicata da prendere: quale oggetto usare per una email diretta a 4 milioni di iscritti per raccogliere fondi. Invece di affidarsi all’istinto, hanno condotto 18 A/B test sull’oggetto. Ha vinto “I will be outspent”, che ha generato 2,67 milioni di dollari in più rispetto alla variante iniziale. Un test fatto con rigore si è tradotto in milioni di dollari di differenza.
Molte aziende con meno risorse provano a replicare quell’approccio ma usano campioni troppo piccoli. Ottengono risultati che sembrano significativi (p-value < 0.05) nel giro di pochi giorni, salvo poi accorgersi che non si traducono in alcun beneficio reale. La differenza non sta negli strumenti o nel budget, ma nel capire fino in fondo i limiti statistici di un A/B test.
Errore 1: campione troppo piccolo
Ron Kohavi, ex capo del team di sperimentazione di Microsoft, stima che solo un terzo degli A/B test nelle grandi aziende produca risultati affidabili, e che questa percentuale scenda sotto il 10% nelle aziende più piccole. La causa principale è un campione troppo piccolo, che rende i risultati indistinguibili dal caso vista la normale variabilità del comportamento umano.
Pensa alla differenza tra 10 conversioni su 100 visitatori (10%) e 12 su 100 (12%). Sembra un miglioramento del 20%, ma con un campione così piccolo è quasi certamente solo rumore.
Calcolare la dimensione del campione necessaria
Per rilevare un aumento del 5% su un tasso di conversione base del 3% servono circa 52.000 visitatori per variante, con una potenza statistica dell’80% e un livello di significatività del 95%. Un sito da 1.000 visitatori al giorno dovrebbe quindi far girare il test per 52 giorni prima di avere numeri affidabili.
| CR Base | Lift Relativo | Sample Size per Variante | Giorni (1.000 vis/giorno) |
|---|---|---|---|
| 1% | 10% | ~150.000 | 150 |
| 3% | 10% | ~52.000 | 52 |
| 5% | 10% | ~30.000 | 30 |
Python per il calcolo della sample size
Per chi vuole un calcolo preciso, un metodo basato sul test z per proporzioni permette di stimare il campione necessario. Definisci il tasso di conversione base e il lift minimo che vuoi rilevare, imposta il livello di significatività (α) e la potenza (1-β), poi calcola la dimensione del campione per variante.
Se il traffico è limitato conviene puntare su test con un lift atteso più grande, altrimenti il test rischia di durare mesi senza dare nulla di utile.
Errore 2: peeking, o guardare i dati prima del tempo
Controllare i risultati più volte prima della fine pianificata fa salire molto la probabilità di falsi positivi, dal 5% teorico fino a circa il 40% reale. Ogni controllo anticipato equivale a effettuare più test senza correggere il livello di significatività.
Come evitare il peeking
Decidi in anticipo la durata del test e rispettala. Se lavori con grandi volumi puoi valutare i test sequenziali con p-value sempre validi, che ti permettono di fermare il test in anticipo solo quando l’evidenza è schiacciante.
Errore 3: test multipli contemporanei
Testare più varianti insieme senza correggere il livello di significatività aumenta la probabilità di falsi positivi. Con 5 varianti, per esempio, la probabilità di almeno un falso positivo è di circa il 18,5%.
Correzioni statistiche
La correzione di Bonferroni divide α per il numero di confronti, ma è molto conservativa. Benjamini-Hochberg controlla invece il tasso di falsi positivi attesi (FDR): è meno conservativa e si adatta meglio quando i test sono molti.
Errore 4: ignorare stagionalità e cicli settimanali
Molti business si comportano in modo diverso tra giorni feriali e weekend. Fare un test solo nei feriali può portare a conclusioni sbagliate, perché ottimizzi per un segmento di utenti e ignori l’altro.
Caso esempio
Un e-commerce di abbigliamento ha un tasso di conversione doppio nel weekend rispetto ai feriali, con comportamenti di acquisto diversi. Una variante che aggiunge urgenza può rivelarsi negativa nei feriali e positiva nel weekend.
Regola
Fai girare ogni test per almeno due cicli settimanali completi (2-4 settimane), in modo da catturare queste variazioni.
Errore 5: ottimizzare metriche proxy e non il risultato reale
Ottimizzare metriche surrogate come il click su un bottone non sempre si traduce in più revenue o più conversioni effettive. Conviene scegliere metriche primarie che riflettano l’impatto economico reale.
| Livello | Metrica | Uso |
|---|---|---|
| Primaria | Revenue, Conversioni | Misura diretta dell’impatto |
| Secondaria | Add-to-cart, Iscrizioni | Proxy ragionevoli |
| Guardrail | Bounce rate, Error rate | Monitoraggio per evitare danni |
| Surrogata | CTR, Scroll depth | Ipotesi, non decisioni finali |
Errore 6: ignorare l’A/A test
Prima di lanciare un A/B test, un A/A test (due versioni identiche) verifica che il sistema di testing non abbia bias o problemi di randomizzazione. Un p-value significativo in un A/A test segnala problemi da correggere prima di andare avanti.
Errore 7: confondere significatività statistica con importanza pratica
Un risultato statisticamente significativo può avere un impatto economico trascurabile. Definire il Minimum Detectable Effect (MDE) in termini economici prima del test aiuta a non investire in test dal ritorno troppo basso.
Errore 8: effetto novità
Le nuove varianti possono mostrare un miglioramento temporaneo dovuto alla curiosità degli utenti per la novità, che poi svanisce. Segmentare l’analisi tra utenti nuovi e di ritorno e aspettare almeno 3-4 settimane aiuta a separare l’effetto reale dal semplice fascino della novità.
Errore 9: ignorare metriche guardrail
Tenere d’occhio metriche come error rate, bounce rate e tempi di caricamento durante il test è fondamentale per non introdurre regressioni che peggiorano l’esperienza utente o le prestazioni del sito.
Checklist pre-test
Prima di lanciare un test, rispondi per iscritto a queste domande:
- Qual è l’ipotesi chiara?
- Qual è la metrica primaria?
- Qual è il MDE economicamente rilevante?
- Qual è la dimensione del campione e la durata del test?
- Come segmenterai i dati?
- Quali metriche guardrail monitorerai?
- Quale criterio di decisione adotterai (p-value)?
Non cambiare mai la soglia di significatività dopo aver visto i dati.
Prioritizzare i test con ICE score
Valuta ogni test su Impact, Confidence ed Ease e scegli quelli con il punteggio più alto, così concentri risorse dove rendono di più.
Il punto
Prendere decisioni sotto incertezza richiede pazienza, rigore e una buona comprensione statistica. I test di Obama hanno funzionato perché hanno rispettato le regole: campioni adeguati, niente peeking, metriche giuste e documentazione seria. Senza questa disciplina i test danno false sicurezze e finiscono per spingere il business nella direzione sbagliata.
Investire tempo nel disegno e nell’analisi corretta di un A/B test ti evita mesi di ottimizzazioni inutili e ti permette di decidere davvero sulla base dei dati.