import statsmodels.stats.api as sms

P-value, Errors, and Correct Interpretation

Un p-value basso può far sembrare una decisione più certa di quanto sia, soprattutto quando effect size, power e qualità del disegno restano fuori dalla discussione. Questa lezione chiarisce che cosa il p-value misura, che cosa non misura e come va letto dentro una decisione business. La categoria è Statistica Applicata, quindi il punto non è accumulare definizioni ma capire quale scelta cambia quando il dato diventa più affidabile. Il p-value non è la probabilità che la variante sia migliore, non misura l’importanza economica e non sostituisce un decision memo: va usato come una componente dell’evidenza, insieme a dimensione dell’effetto, intervallo, potenza e rischio di errore.

Il problema reale

Il problema non è conoscere il p-value in astratto, ma decidere cosa fare quando il team lavora con dati incompleti, metriche ambigue o vincoli tecnici che rendono fragile la lettura del fenomeno. Una lezione utile deve separare il segnale dal rumore, indicare quale baseline usare e mostrare quale azione diventa più difendibile dopo l’analisi. Il rischio opposto a inseguire la significatività è altrettanto concreto: fermarsi presto, prima di raccogliere abbastanza campioni per raggiungere la significatività, e perdere così un’opportunità reale.

Il modello di lavoro

La sequenza che segue serve a non trasformare una nozione tecnica in un rituale vuoto. Ogni passaggio dovrebbe rendere più chiaro il costo di una decisione sbagliata.

Step	Question to ask	Expected output
Decision	Che cosa cambia se capiamo meglio il p-value?	Scelta esplicita
Signal	Quale dato osservabile riduce l’incertezza?	Metrica o evento
Baseline	Rispetto a cosa interpretiamo il risultato?	Credible comparison
Vincolo	Che cosa può falsare la lettura?	Assunzione da dichiarare
Action	Quale passo operativo segue?	Raccomandazione controllabile

La formalizzazione

Formalizzare non significa complicare. Serve a rendere visibili le assunzioni, così uno stakeholder può discutere il criterio decisionale invece di fidarsi del risultato per autorità.

Element	Operational Definition	Controllo minimo
Unit of analysis	Oggetto su cui misuri il fenomeno	Utente, account, evento, ordine o periodo
Variabile osservata	Segnale che rappresenta il comportamento	Definizione stabile e tracciabile
Baseline	Stato contro cui confronti il segnale	Periodo, segmento, controllo o benchmark
Soglia decisionale	Punto in cui cambia l’azione	Criterio scritto prima della lettura
Rischio residuo	Errore che può restare anche dopo l’analisi	Sensitivity check o revisione qualitativa

Example or case study

Immagina un team che deve usare il p-value per decidere se cambiare una pipeline, una metrica, un investimento o una dashboard. La domanda non è “qual è la definizione corretta?” ma “quale scelta diventa meno rischiosa se questa analisi è fatta bene?”.

Situation	Cautious interpretation	Decision
Il dato migliora ma la baseline è debole	Il segnale potrebbe essere reale o dipendere dal campione	Rafforzare il confronto prima di scalare
La metrica cambia in un solo segmento	The average effect hides heterogeneity	Separate cohorts or use cases
Il costo operativo aumenta	Il beneficio va valutato sul margine	Applicare una soglia economica esplicita
Il sistema produce numeri incoerenti	La fiducia nel dato è parte della decisione	Correggere ownership e controlli

Le aree da tenere sotto controllo

La lezione mantiene un punto pratico: usare il p-value per collegare domanda, dato, baseline e decisione. La tabella seguente riassume i controlli da non perdere mai di vista.

Area	Controllo da mantenere
Question	Quale scelta deve cambiare dopo l’analisi
Dato	Quale evento, tabella o metrica rende osservabile il problema
Qualità	Quale errore di raccolta, modellazione o interpretazione può alterare il risultato
Baseline	Quale confronto impedisce una lettura isolata
Action	Quale raccomandazione diventa più difendibile

Usa questa traccia insieme al lab: se un esempio, una formula o un frammento tecnico non chiarisce almeno una di queste aree, trattalo come dettaglio secondario.

Lab a tre livelli

Al livello base, scrivi in cinque righe quale decisione concreta il p-value dovrebbe migliorare. Indica metrica, unità di analisi, baseline e rischio principale. Se non riesci a nominare la decisione, la lezione è ancora troppo astratta.

Al livello intermedio, costruisci una tabella con quattro colonne: segnale osservato, interpretazione prudente, controllo necessario, azione consigliata. Inserisci almeno un caso in cui il segnale da solo non basta per decidere.

Al livello research-grade, trasforma l’esercizio in un memo decisionale con assunzioni, criteri di esclusione, soglia di intervento, sensitivity check e una proposta di monitoraggio dopo la decisione. Per i materiali puoi usare un export reale, una tabella sintetica, una dashboard interna o un notebook di studio, purché contenga almeno una dimensione di segmento, una metrica osservabile e un periodo o baseline di confronto.

L’errore tipico da evitare

L’errore tipico è usare il p-value come etichetta tecnica invece che come criterio di scelta. Succede quando il team presenta un numero senza dire quale decisione cambia, quale baseline lo rende interpretabile e quale rischio resta aperto. In quel caso il dato sembra preciso ma non guida l’azione. Per verificarti, prova a rispondere: quale decisione concreta dovrebbe migliorare questa lezione, quale unità di analisi rende il problema misurabile, quale baseline eviterebbe una lettura isolata, quale assunzione falsa cambierebbe la conclusione e quale controllo presenteresti prima di raccomandare un’azione.

Summary

Il p-value è utile quando riduce l’incertezza su una scelta reale. La forma corretta della lezione resta decisione, segnale, baseline, rischio e azione, e tutto il resto serve solo se rende più affidabile uno di questi passaggi. Letto da solo, un valore basso dice poco: acquista senso accanto a effect size, intervallo di confidenza, potenza e rischio business, e dentro una decisione che il team ha definito prima di guardare i dati.