Models, assumptions, and misspecification

Un modello può sbagliare in modo silenzioso, e questo è il caso più pericoloso. Una regressione che prevede bene le vendite medie ma fallisce sistematicamente nei weekend, durante le promozioni o sui clienti nuovi non è semplicemente imprecisa: risponde a una domanda più ristretta di quella che interessa al business. Questo scarto ha un nome, misspecification, e questa lezione serve a riconoscerlo prima che si trasformi in una decisione sbagliata.

Quando il modello risponde alla domanda sbagliata

Il punto centrale è distinguere quando un dato o un modello sostiene davvero una decisione e quando invece nasconde assunzioni fragili, bias o una domanda mal formulata. In un contesto aziendale la conoscenza diventa utile solo se riduce l’incertezza su una scelta concreta e mette in chiaro dove si annida il rischio di errore.

Dalla domanda alla decisione

The mental path is sequential: formulate the question, translate concepts into observable units, assess data quality, and only then decide. Skipping steps leads to fragile analyses.

flowchart LR
    A["Observation"]
    B["Assumption"]
    C["Model"]
    D["Evidence"]
    E["Decision"]
    A --> B
    B --> C
    C --> D
    D --> E

Le stesse tappe diventano domande operative, ognuna con un esito da fissare prima di proseguire.

Step	Guiding question	Expected output
Framing	Which decision needs to change?	Concrete choice, not curiosity
Measure	Which signal represents the phenomenon?	Metric, source, granularity
Comparison	Compared to which baseline do I interpret the result?	Benchmark or counterfactual
Action	What do I do if the signal exceeds the threshold?	Decision, owner, next check

Gli elementi del ragionamento

Conviene nominare gli elementi in gioco, incluso il rischio specifico di confondere piani diversi.

Element	Operational Definition
Unit	observation, hypothesis, variable, causal mechanism, or evidence criterion
Signal	strength of evidence, causal consistency, robustness of assumptions, cost of decision error
Baseline	alternative explanation, counterfactual, comparable group, no-intervention scenario
Decision	accept, reject, or reformulate an explanation before business use
Risk	confusing correlation, data quality, and causal decision-making

Una misura vale qualcosa solo se riduce l’incertezza su una decisione specifica. Se non cambia nessuna scelta è decorativa, e se cambia una scelta senza controlli è rischiosa.

Le assunzioni nascoste in ogni modello

Ogni modello è una semplificazione della realtà che poggia su assunzioni, esplicite o implicite. La regressione lineare OLS, per esempio, si regge su quattro assunzioni note come proprietà BLUE: linearità, indipendenza degli errori, omoschedasticità e normalità degli errori. Quando queste vengono violate compaiono bias e inferenze sbagliate.

Nel machine learning il discorso non cambia, cambiano le assunzioni. Quella di dati indipendenti e identicamente distribuiti (IID) e quella di stazionarietà sono spesso date per scontate e altrettanto spesso violate nel mondo reale, ed è da lì che nasce il model drift.

Riconoscere i sintomi prima del danno

La misspecification raramente arriva con un fallimento clamoroso. Di solito manda segnali più discreti. C’è una discrepanza tra le metriche di fit e la performance sui dati nuovi, il classico overfitting. I coefficienti si fanno instabili a causa della multicollinearità. Nei residui compaiono pattern che violano l’ipotesi di rumore bianco. Oppure la performance offline e quella online divergono, segno che qualche assunzione chiave è saltata. Imparare a leggere questi indizi è ciò che separa un modello monitorato da uno che si rompe in silenzio.

Caso pratico: Netflix e Stripe alle prese con assunzioni che saltano

Netflix convive con la non stazionarietà dei gusti, che cambiano nel tempo e mandano in crisi qualsiasi modello addestrato sul passato. La risposta combina più strumenti: un decadimento temporale che dà più peso ai dati recenti, un ensemble di modelli specializzati su aspetti diversi e un’esplorazione attiva tramite contextual bandits per adattarsi ai cambiamenti man mano che emergono. È così che le raccomandazioni restano rilevanti e il churn resta sotto controllo.

Stripe Radar affronta un problema diverso, la multicollinearità tra le variabili predittive nelle frodi. Qui servono modelli robusti come il Gradient Boosting e un feature engineering accurato, che insieme migliorano la capacità di intercettare le frodi senza far esplodere i falsi positivi. In entrambi i casi il punto non è il modello in sé, ma la consapevolezza dell’assunzione che potrebbe cedere.

Validare e monitorare sul serio

La validazione non si esaurisce con un semplice split tra training e test. Sulle serie temporali serve un time-series split, altrimenti si rischia di far “vedere il futuro” al modello in fase di addestramento. Una volta in produzione, il monitoraggio continuo deve intercettare data drift e concept drift, e per farlo si appoggia a test statistici come quello di Kolmogorov-Smirnov.

Un controllo operativo per il data drift si può descrivere anche senza scrivere codice, ragionando per domande.

Step	Question	Decision
Campione storico	Quale distribuzione rappresenta il comportamento atteso?	Definire il riferimento
Campione recente	La produzione si comporta ancora nello stesso modo?	Misurare lo scarto
Statistical test	Lo scarto e compatibile con rumore normale?	Aprire o chiudere l’allarme
Impatto business	Lo scarto cambia la decisione o solo una metrica tecnica?	Intervenire, monitorare o ignorare

Provare il metodo su una decisione vera

Per fissare il ragionamento conviene legarlo a una decisione reale su modelli e assunzioni. Descrivi in poche righe obiettivo, metrica primaria, baseline, rischio e azione. Poi costruisci una tabella con almeno tre segmenti o scenari, indicando per ciascuno il segnale, una spiegazione alternativa e il controllo necessario. Chi vuole approfondire può disegnare un piano di validazione completo: ipotesi, dati, criteri di esclusione, soglia decisionale, controllo successivo alla decisione e le condizioni che lo farebbero cambiare idea.

Se mancano dati reali basta un dataset sintetico con almeno una colonna temporale, una di segmento, una metrica di outcome e una variabile di esposizione. Sono materiali sufficienti per esercitarsi su case study decisionali, metriche di prodotto, esperimenti e DAG.

L’errore che svuota il metodo

L’errore tipico è trattare modelli e assunzioni come definizioni astratte invece che come protocolli da usare. Presentare metriche senza baseline o raccomandazioni che ignorano il costo dell’errore è più comune di quanto si pensi. La domanda da tenere sempre in tasca è semplice: se questo risultato fosse falso, quale decisione sbaglierei? Vale la pena ripercorrerla anche come verifica finale, chiedendosi qual è la decisione concreta da migliorare, quale baseline rende leggibile il risultato, quale assunzione ne cambierebbe la conclusione se fosse sbagliata e quale controllo minimo mettere prima di portare la raccomandazione a chi decide.

Operational Summary

Gestire modelli, assunzioni e misspecification significa collegare concetto, dato e decisione. Si parte da un problema reale, si formalizza il segnale, si sceglie una baseline credibile, si costruiscono esempi e si chiude con controlli pratici. È questa la competenza che rende affidabili le decisioni prese sotto incertezza.