Distributions, expectation, variance, and covariance

Questa lezione vive nel binario ml-tabellare, e il punto di partenza è una tabella di campagne. Due campagne con la stessa conversion rate media: la prima produce risultati stabili ogni settimana, la seconda alterna picchi, crolli e segmenti instabili. Se guardi solo la media sembrano equivalenti. Se guardi distribuzione, varianza e covarianza, una è una leva affidabile e l’altra è un rischio operativo.

Che cosa raccontano i tre numeri

Aspettativa, varianza e covarianza descrivono dove si concentra una metrica, quanto oscilla e con quali altre metriche si muove insieme.

Come si calcolano, in ordine

1. Descrivi la metrica come variabile aleatoria e stimane la distribuzione dai dati osservati.
2. Calcola l’aspettativa E[X] come media pesata dei valori possibili.
3. Calcola la varianza Var(X) = E[(X − E[X])²] per misurare la dispersione intorno al centro.
4. Calcola la covarianza Cov(X,Y) = E[(X − EX)(Y − EY)] per vedere se due metriche si muovono insieme.
5. Normalizza la covarianza nella correlazione ρ = Cov(X,Y) / (σX·σY), compresa tra −1 e 1.
6. Leggi i tre numeri insieme prima di decidere, perché la media da sola nasconde stabilità e rischio.

Variabili aleatorie e distribuzioni

Nel data analytics ogni metrica che misuriamo è, in essenza, una variabile aleatoria. Il tempo di ascolto di un utente Spotify, il valore di un ordine su Zalando o il numero di click su un annuncio non sono valori fissi. Sono realizzazioni di un processo che contiene un elemento di casualità. Una variabile aleatoria, formalmente, è una funzione che mappa gli esiti di un esperimento, per esempio un utente che apre l’app, a un valore numerico, per esempio i minuti di ascolto. La sua distribuzione di probabilità è la regola che descrive con quale probabilità la variabile assume ciascun valore possibile.

Aspettativa, varianza e covarianza sono i tre modi in cui leggiamo quella distribuzione. L’aspettativa dice dove si concentra il valore tipico. La varianza dice quanto i valori si disperdono intorno a quel centro. La covarianza dice se due variabili tendono a muoversi insieme o in direzioni opposte. Sono tre domande diverse sulla stessa metrica. Rispondere solo alla prima è il modo più rapido per prendere una decisione sbagliata.

Dalla covarianza alla correlazione

La covarianza dipende dalle unità di misura. Non puoi confrontare direttamente la covarianza tra spesa e tempo con quella tra click e ricavo. La correlazione risolve il problema normalizzando per le deviazioni standard: è sempre compresa tra −1 e 1 e indica forza e verso della relazione lineare. Resta però una misura di associazione lineare, non una prova di causalità.

Verdetto: riporta sempre media e dispersione insieme e usa la correlazione quando confronti coppie su scale diverse, la covarianza quando la scala ha un significato operativo.

Campionamento e legge dei grandi numeri

Aspettativa e varianza vere non si osservano mai: si stimano da un campione e la stima ha un errore che decresce con la radice di n. Con 100 osservazioni l’errore standard della media è un decimo della deviazione standard, con 10.000 è un centesimo. Confrontare la media di un segmento da 50 utenti con quella di un segmento da 50.000 senza intervalli è quindi un errore operativo. La prima è un’indicazione rumorosa, la seconda una misura. Verdetto: prima di decidere su una media, chiedi sempre n e dispersione, e diffida di ogni confronto tra campioni di ordini di grandezza diversi.

Markowitz: il rischio che si compensa

Nel 1952 Harry Markowitz pubblicò “Portfolio Selection”, mostrando che il rischio di un portafoglio non dipende solo dalle varianze dei singoli titoli ma dalla covarianza tra i loro rendimenti. Combinare asset poco correlati tra loro riduce la varianza complessiva a parità di rendimento atteso: la diversificazione funziona perché le oscillazioni si compensano. Il lavoro fondò la moderna teoria del portafoglio e valse a Markowitz il premio Nobel per l’economia nel 1990.

Domande per chiudere la lezione

1. Quando due campagne con la stessa media richiedono decisioni opposte?
2. Cosa ti dice la covarianza che due varianze separate non dicono?
3. Come distingui una correlazione utile da una coincidenza su campioni piccoli?
4. Quale controllo fai prima di confrontare varianze tra segmenti diversi?