Correlation, proxy metric, and causal reading of KPIs

Click, visite e tempo speso spesso anticipano il valore reale, ma a volte lo sostituiscono in modo pigro: il team insegue il numero invece dell’effetto. Correlazioni, proxy e controlli di lettura si costruiscono su tabelle di serie storiche e confronti tra segmenti, senza modelli statistici sofisticati. In questa pagina impari a riconoscere quando una proxy smette di rappresentare il valore e comincia a distorcerlo.

L’idea in una frase

Una proxy metric è utile solo finché anticipa il risultato senza sostituirlo nelle decisioni del team. Appena il team ottimizza la proxy invece del fenomeno, la misura è diventata un obiettivo e ha smesso di essere una misura.

La procedura in cinque passi

1. Scrivi quale risultato finale la proxy dovrebbe anticipare e con quale ritardo temporale.
2. Verifica su dati storici se la proxy precede il risultato in modo stabile tra segmenti diversi.
3. Elenca quale comportamento opportunistico la proxy incentiva se diventa obiettivo del team.
4. Pretendi un confronto con baseline o gruppo di controllo prima di leggere causalità.
5. Sostituisci la proxy quando smette di anticipare il risultato o quando il team la ottimizza da sola.

Quando una proxy smette di rappresentare il valore

Click, visite e tempo speso spesso anticipano il valore reale, ma a volte lo sostituiscono in modo pigro. Il team insegue il numero invece dell’effetto. Una correlazione indica solo che due variabili si muovono insieme con uno schema riconoscibile: se A sale, B tende a salire o a scendere. Il coefficiente di Pearson misura forza e direzione della relazione lineare con un valore tra meno uno e più uno. Un valore di più 0.8 segnala un’associazione forte. Resta un’associazione: il cervello salta subito alla conclusione che A causes B, ma i dati non lo hanno dimostrato.

Tre ragioni per cui la correlazione inganna

La prima è la coincidenza su grandi volumi: con migliaia di confronti qualche correlazione spuria emerge per costruzione, come quella celebre tra consumo di formaggio e morti per impigliamento nelle lenzuola. La seconda è la causalità inversa: i clienti che usano la feature X trattengono di più, ma potrebbero usare X proprio perché già fidelizzati. La terza è la variabile nascosta che muove entrambe: due numeri salgono insieme perché un terzo fattore li spinge.

Prima di fidarti, passa ogni indicatore per quattro controlli: quale risultato vuoi muovere, quale proxy lo rappresenta, quale comportamento indesiderato la proxy incentiva, quale prova servirebbe per fidarti del collegamento.

Step	Question to ask	Expected output
Decision	Che cosa cambia se capiamo meglio la relazione tra proxy e risultato?	Scelta esplicita
Signal	Quale dato osservabile riduce l’incertezza?	Metrica o evento
Baseline	Rispetto a cosa interpretiamo il risultato?	Credible comparison
Vincolo	Che cosa può falsare la lettura?	Assunzione da dichiarare
Action	Quale passo operativo segue?	Raccomandazione controllabile

Rendere visibili le assunzioni

Scrivi unità di analisi, variabile, baseline, soglia e rischio residuo prima di leggere i numeri. La discussione verte sul criterio e non sull’autorità del presentatore.

Element	Operational Definition	Controllo minimo
Unit of analysis	Oggetto su cui misuri il fenomeno	Utente, account, evento, ordine o periodo
Variabile osservata	Segnale che rappresenta il comportamento	Definizione stabile e tracciabile
Baseline	Stato contro cui confronti il segnale	Periodo, segmento, controllo o benchmark
Soglia decisionale	Punto in cui cambia l’azione	Criterio scritto prima della lettura
Rischio residuo	Errore che può restare anche dopo l’analisi	Sensitivity check o revisione qualitativa

In sintesi: tieni la proxy come ponte verso il risultato con prova di anticipo, e declassala appena il team la ottimizza senza muovere il risultato.

Letture prudenti per casi frequenti

Situation	Cautious interpretation	Decision
Il dato migliora ma la baseline è debole	Il segnale potrebbe dipendere dal campione	Rafforzare il confronto prima di scalare
La metrica cambia in un solo segmento	The average effect hides heterogeneity	Separare coorti e casi d’uso
Il costo operativo aumenta	Il beneficio va valutato sul margine	Applicare una soglia economica esplicita
Il sistema produce numeri incoerenti	La fiducia nel dato è parte della decisione	Correggere ownership e controlli

La legge che spiega perché le proxy falliscono

Nel 1975 l’economista Charles Goodhart formula la legge che porta il suo nome: quando una misura diventa un obiettivo, smette di essere una buona misura. Il caso Wells Fargo del 2016 ne è l’illustrazione contabile: spinti da target aggressivi di cross-selling, i dipendenti aprono circa 2 milioni di conti non autorizzati. La banca paga 185 milioni di dollari di sanzioni complessive e l’amministratore delegato si dimette a ottobre dello stesso anno. La proxy dei conti per cliente aveva sostituito il risultato delle relazioni sane e redditizie senza che nessuno fermasse la leva per anni. Ogni controllo di questa lezione serve a evitare quel destino: chiedere sempre cosa accade quando il team ottimizza l’indicatore invece del fenomeno.

Verdetto: tieni la proxy come ponte verso il risultato con prova di anticipo, e declassala appena il team la ottimizza senza muovere il risultato: una proxy metric è utile solo finché anticipa il risultato senza sostituirlo nelle decisioni.

Domande per ripassare

1. Quale risultato finale dovrebbe anticipare la tua proxy e con quale ritardo?
2. Quale prova su storico e segmenti mostra che l’anticipo è stabile?
3. Quale comportamento opportunistico incentiva la proxy se diventa obiettivo?
4. Quando sostituisci la proxy perché non anticipa più il risultato?