Hai progettato un esperimento con una divisione 50/50: metà degli utenti vede un agente AI, l’altra metà resta sul flusso tradizionale. Alla fine, però, i gruppi escono 61/39. La dashboard ti indica un vincitore. Fermati subito.
Questo squilibrio si chiama sample ratio mismatch (SRM): la distribuzione che osservi non corrisponde a quella che avevi previsto. Quando capita, il test rischia di essere già compromesso.
Perché è pericoloso
In un esperimento ben fatto i gruppi devono essere comparabili. Se hai impostato una divisione 50/50, ti aspetti differenze minime e casuali. Uno sbilanciamento marcato dice che qualcosa ha condizionato l’assegnazione o la misurazione.
Con un SRM non puoi più sapere se il risultato dipende dalla variante o semplicemente dal fatto che i due gruppi sono diversi tra loro.
Negli agenti AI il rischio sale, perché il triggering può essere complicato. Alcuni utenti vedono l’agente solo se arrivano su una pagina specifica, se hanno un certo permesso, se usano una lingua particolare o se hanno completato un passo precedente.
Cause comuni negli agenti AI
Un SRM può nascere da:
- l’evento di esposizione registrato solo quando l’utente clicca sull’agente;
- bug che impediscono a una variante di caricarsi su mobile;
- segmenti premium esclusi da un gruppo;
- feature flag configurati male;
- timeout del servizio AI per una parte degli utenti;
- filtri di analisi applicati dopo l’assegnazione.
Molti di questi problemi non si vedono a occhio nudo. L’interfaccia può sembrare normalissima mentre il test è già rotto.
Come prevenirlo
Prima di lanciare un esperimento:
- definisci il punto esatto di assegnazione;
- definisci il punto esatto di esposizione;
- verifica che entrambi i gruppi registrino gli stessi eventi;
- monitora le proporzioni giornaliere;
- imposta un alert se lo squilibrio supera una soglia.
Non aspettare la fine del test. Accorgersi di un SRM troppo tardi vuol dire aver buttato tempo e traffico.
Cosa fare se succede
Non provare a salvare il risultato a tutti i costi. Prima diagnostica.
Controlla browser, device, paese, piano, versione app, tempi di caricamento, errori API e regole del flag. Se trovi la causa e il periodo coinvolto è circoscritto, puoi ripulire i dati e ripartire. Spesso, però, la scelta più onesta è semplicemente rilanciare il test.
La disciplina sperimentale chiede umiltà. Un risultato che sembra valido ma viene da un test rotto non è un insight: è un rischio travestito da certezza.
Come applicarlo senza complicare il lavoro
Per rendere pratico il concetto, non partire dallo strumento più nuovo. Parti dal punto in cui il team perde tempo, discute senza dati o decide con informazioni incomplete. È lì che si vede se il tema ha un valore operativo o resta solo una bella idea da slide.
La regola è semplice. Un agente non va trattato come una chat brillante: deve avere input chiari, strumenti limitati, una memoria controllata e una regola esplicita per passare la decisione a una persona quando il rischio aumenta.
Una sequenza utile:
- definisci quali dati l’agente può leggere e quali non deve toccare;
- scrivi il risultato atteso in forma verificabile, non come intenzione generica;
- decidi quando serve revisione umana prima di inviare o salvare l’output;
- misura tempo risparmiato, errori evitati e casi in cui l’agente si ferma.
Cosa misurare per capire se funziona
La domanda giusta non è “abbiamo usato AI?” o “abbiamo aggiunto una nuova dashboard?”. La domanda giusta è: quale decisione è diventata più veloce, più chiara o più sicura? Se non cambia una decisione, il progetto rischia di restare una decorazione tecnica.
Misura almeno tre livelli: il tempo operativo risparmiato, la qualità del risultato e la fiducia del team nel processo. Il tempo da solo inganna, perché un flusso più rapido ma meno controllabile non è un miglioramento. La qualità da sola inganna a sua volta: un sistema perfetto ma troppo lento non entra mai davvero nel lavoro quotidiano.
Collegamento con il percorso ginnytech
Per trasformare questo ragionamento in competenza pratica, collega questo articolo al percorso Agentic AI Data Workflows. L’obiettivo non è imparare termini nuovi, ma costruire un modo di lavorare in cui dati, modelli e persone collaborano senza perdere il controllo.