import pandas as pd

Monitoring e alerting per data pipeline

Una pipeline può fallire in molti modi: non parte, parte tardi, produce meno righe del previsto, produce righe sbagliate oppure aggiorna una tabella che nessuno controlla. Il monitoring serve a trasformare questi modi di fallire in segnali osservabili e azionabili. In questa lezione lo trattiamo come una scelta operativa: la domanda non è quante metriche raccogliere, ma quale decisione cambia quando un alert si accende.

Il problema da risolvere

Conoscere il monitoring in astratto non serve. Serve sapere cosa fare quando un job risulta “success” ma la tabella è ferma da due giorni, oppure quando arrivano cento alert e nessuno sa quale guardare. Una lezione utile separa il segnale dal rumore: dice quale baseline usare, quale controllo eseguire e quale azione diventa difendibile dopo che un alert è scattato.

Conviene leggere il tema come progettazione di alert utili: freschezza, volume, schema, anomalie sulle metriche, errori dei job e impatto sugli utenti. Un alert non deve solo dire che qualcosa è rosso. Deve indicare chi è l’owner, quale severità ha, quale diagnosi iniziale fare e quale azione segue.

Come ragionare sulla decisione

Conviene leggere ogni alert come una sequenza che collega decisione, evidenza e rischio. La tabella sotto funziona da mappa di lavoro e impedisce che il monitoring diventi un rituale vuoto.

Passaggio	Domanda da fare	Output atteso
Decisione	Che cosa cambia se intercettiamo prima il guasto?	Scelta esplicita
Segnale	Quale dato osservabile riduce l’incertezza?	Metrica o evento
Baseline	Rispetto a cosa interpretiamo il risultato?	Confronto credibile
Vincolo	Che cosa puo falsare la lettura?	Assunzione da dichiarare
Azione	Quale passo operativo segue?	Raccomandazione controllabile

Ogni riga deve rendere piu chiaro il costo di una decisione sbagliata. Se un passaggio non incide su una scelta concreta, diventa documentazione o teatro analitico.

Formalizzare unita, segnale e decisione

Per analizzare il monitoring conviene fissare prima l’unita di lavoro, poi il segnale, poi la decisione attesa. L’unita di analisi qui è il job, la pipeline, il servizio, l’alert, il deploy o la risorsa cloud. Il segnale principale è SLA, MTTR, costo, failure rate, freshness o qualità dei dati. La decisione attesa è un runbook, un alert, una policy di costo, una configurazione CI/CD o un piano di recovery.

Elemento	Definizione operativa	Controllo minimo
Unita di analisi	Oggetto su cui misuri il fenomeno	job, pipeline, servizio, alert, deploy o risorsa cloud
Variabile osservata	Segnale che rappresenta il comportamento	SLA, MTTR, costo, failure rate, freshness, qualità dati
Baseline	Stato contro cui confronti il segnale	Periodo, segmento, controllo o benchmark
Soglia decisionale	Punto in cui cambia l’azione	Criterio scritto prima della lettura
Rischio residuo	Errore che puo restare anche dopo l’analisi	Scambiare un numero disponibile per una prova sufficiente

La formalizzazione non complica la lezione. Rende visibili le assunzioni, così un altro analista può riprodurre la logica, criticare le ipotesi e arrivare alla stessa decisione partendo dagli stessi dati.

I tre livelli di monitoring dati

Il primo livello è la pipeline operativa e risponde alla domanda se il job è girato. Verifichi se il job dbt o Airflow è stato eseguito, in quanto tempo e con quali errori, usando la UI di Airflow, la run history di dbt Cloud o la dashboard di Prefect.

Il secondo livello è la data quality e risponde alla domanda se i dati sono corretti. Qui entrano i test automatici not_null, unique, accepted_values e relationships, i volume check (il numero di righe per giorno non deve scendere del 50% rispetto alla media mobile) e i freshness check con dbt source freshness, dove l’ultimo dato caricato non deve avere più di X ore. Gli strumenti tipici sono dbt tests, Elementary Data, Monte Carlo e Great Expectations.

Il terzo livello sono le metriche di business e risponde alla domanda se i numeri hanno senso. Le metriche core come revenue, MAU e conversion rate non devono variare oltre soglie statistiche, e il confronto va fatto col periodo precedente tenendo conto della stagionalità nota. Un alert tipico suona così: “revenue giornaliero < 80% della media mobile a 7 giorni”.

Pattern di alert efficaci

Un alert deve avere tre cose: un proprietario chiaro, un’azione richiesta chiara e un’urgenza chiara. Senza queste, diventa rumore che il team impara a ignorare.

# Example: dbt Elementary alert config
alerts:
  - test: unique_order_id
    severity: critical
    owner: "@data-platform"
    action: "Blocca deploy produzione finché risolto"
  - test: row_count_anomaly
    severity: warning
    owner: "@data-analytics"
    action: "Verifica entro 2 ore, investiga se trend persiste"

Il framework di escalation

Severità	Significato	Tempo di risposta	Canale
Critical	Dati errati visibili a clienti o board	15 minuti	PagerDuty, chiamata
High	Pipeline bloccata, dashboard non aggiornate	1 ora	Slack @channel
Medium	Anomalia statistica, possibile degrado	Entro il giorno	Slack channel
Low	Warning, fluttuazione stagionale possibile	Prossimo standup	Dashboard alert log

Esempio: il job che mentiva

Un team scopre che una tabella critica non si aggiorna da due giorni, ma nessuno ha ricevuto un alert perché il job risultava “success”. La correzione aggiunge controlli su freschezza, volume e completezza, non solo sullo stato tecnico dell’orchestratore. La tabella sotto mostra come leggere alcune evidenze tipiche.

Evidenza osservata	Lettura prudente	Azione consigliata
Il numero migliora	Potrebbe essere effetto reale o variazione normale	Cercare confronto e segmento
Un segmento cambia più degli altri	La media aggregata nasconde una differenza	Separare coorti o casi d’uso
Il costo cresce insieme al risultato	L’impatto va letto sul margine	Stimare trade-off e sostenibilità

La domanda non è “qual è la definizione corretta di monitoring?” ma “quale scelta diventa meno rischiosa se gli alert sono progettati bene?”.

Esempio SQL: costruire una vista di controllo

Il pattern seguente è volutamente generico ma eseguibile nella maggior parte dei warehouse moderni. Crea una base analitica con metrica, segmento e finestra temporale, così da confrontare periodi e gruppi senza riscrivere la logica ogni volta.

WITH base_events AS (
  SELECT
    user_id,
    account_id,
    event_type,
    event_time,
    DATE_TRUNC('week', event_time) AS week,
    source,
    device_type
  FROM events
  WHERE event_time >= CURRENT_DATE - INTERVAL '180 days'
    AND user_id IS NOT NULL
),
weekly_user_metrics AS (
  SELECT
    week,
    user_id,
    COALESCE(source, 'unknown') AS source,
    COALESCE(device_type, 'unknown') AS device_type,
    COUNT(*) AS total_events,
    COUNT(DISTINCT DATE(event_time)) AS active_days,
    COUNT(DISTINCT event_type) AS event_diversity,
    MAX(CASE WHEN event_type IN ('purchase', 'subscribe', 'activation') THEN 1 ELSE 0 END) AS reached_key_outcome
  FROM base_events
  GROUP BY week, user_id, source, device_type
)
SELECT
  week,
  source,
  device_type,
  COUNT(DISTINCT user_id) AS users,
  ROUND(AVG(active_days), 2) AS avg_active_days,
  ROUND(AVG(event_diversity), 2) AS avg_event_diversity,
  ROUND(AVG(reached_key_outcome) * 100, 2) AS key_outcome_rate
FROM weekly_user_metrics
GROUP BY week, source, device_type
ORDER BY week, source, device_type;

La query non pretende di dare la risposta finale. Serve a creare una superficie di osservazione: trend, segmenti, differenze tra canali, variazioni nel tempo. Da qui l’analista formula ipotesi più precise.

Esempio Python: controllare stabilità e anomalie

Una metrica utile deve essere abbastanza stabile da orientare decisioni e abbastanza sensibile da segnalare cambiamenti reali. In Python possiamo controllare le variazioni anomale settimana su settimana, lo stesso meccanismo che alimenta un alert di anomalia.

# df contiene: week, segment, users, key_outcome_rate
# key_outcome_rate espresso in percentuale, es. 12.4

df = df.sort_values(['segment', 'week']).copy()
df['previous_rate'] = df.groupby('segment')['key_outcome_rate'].shift(1)
df['wow_change_pp'] = df['key_outcome_rate'] - df['previous_rate']
df['rolling_mean'] = df.groupby('segment')['key_outcome_rate'].transform(
    lambda s: s.rolling(4, min_periods=2).mean()
)
df['rolling_std'] = df.groupby('segment')['key_outcome_rate'].transform(
    lambda s: s.rolling(4, min_periods=2).std()
)
df['z_score'] = (df['key_outcome_rate'] - df['rolling_mean']) / df['rolling_std']

anomalies = df[df['z_score'].abs() >= 2].sort_values('z_score')
print(anomalies[['week', 'segment', 'key_outcome_rate', 'wow_change_pp', 'z_score']])

Il controllo evita di reagire a ogni oscillazione casuale ma segnala quando una variazione merita un’indagine. In azienda alimenta alert, review settimanali e retrospettive di prodotto.

Caso reale: Netflix e la disciplina delle metriche

Netflix è un esempio utile perché ha costruito molte decisioni di prodotto intorno a segnali comportamentali osservabili: completamento degli episodi, tempo di ricerca prima della riproduzione, abbandono dopo pochi minuti, ritorno nella settimana successiva, efficacia delle raccomandazioni. Il punto non è copiare Netflix, ma il metodo: il dato non è un ornamento, è infrastruttura decisionale.

Quando Netflix valuta una modifica all’esperienza, per esempio una nuova riga di raccomandazioni, una diversa immagine di copertina o un nuovo algoritmo di ranking, non misura solo il click immediato. Guarda anche i segnali di qualità: l’utente guarda davvero il contenuto? torna nei giorni successivi? riduce il tempo speso a cercare? Questa disciplina evita di ottimizzare vanity metric che sembrano positive nel breve periodo ma erodono valore nel lungo. Lo stesso vale per il monitoring: se un alert non è collegato a una decisione, è solo rumore.

Esercizio

Al livello base, scrivi in cinque righe quale decisione concreta dovrebbe migliorare il monitoring delle tue pipeline, indicando metrica, unita di analisi, baseline e rischio principale. Se non riesci a nominare la decisione, il tema è ancora troppo astratto.

Al livello intermedio, costruisci una tabella con quattro colonne: segnale osservato, interpretazione prudente, controllo necessario, azione consigliata. Includi almeno un caso in cui il segnale non basta per decidere.

Al livello research-grade, trasforma l’esercizio in un decision memo con assunzioni, criteri di esclusione, soglia di intervento, sensitivity check e una proposta di monitoraggio dopo la decisione. Come materiale usa log pipeline, metriche dell’orchestratore, cost explorer, incident report e dashboard ops; se non hai dati reali, genera un dataset sintetico con almeno 200 righe, una dimensione temporale, una dimensione segmento e una metrica di outcome.

Errori comuni da evitare

L’errore più frequente è usare il monitoring come etichetta tecnica invece che come criterio di scelta: il team mostra un grafico senza decisione, una metrica senza baseline, una conclusione senza dire quale assunzione potrebbe invalidarla. La domanda di controllo è semplice: se questo risultato fosse instabile, quale scelta sbaglierei?

Tre errori ricorrenti restano in agguato. Il primo è lavorare su dati aggregati troppo presto, perché una media globale può nascondere due segmenti che si muovono in direzioni opposte. Il secondo è non controllare la qualità del dato: eventi duplicati, tracking incompleto, timezone incoerenti e cambi di definizione producono conclusioni false. Il terzo è confondere correlazione e causalità, perché gli utenti che usano una feature potrebbero convertire di più solo perché erano già più motivati. Per ridurre questi rischi, ogni analisi dovrebbe includere definizione esplicita della metrica, confronto per segmento e verifica contro un periodo precedente o un gruppo di controllo.

Checkpoint

Prima di chiudere, prova a rispondere. Quale decisione concreta dovrebbe migliorare questa lezione? Quale unita di analisi rende il problema misurabile? Quale baseline useresti per evitare una lettura isolata? Quale assunzione, se falsa, cambierebbe la conclusione? Quale output consegneresti a uno stakeholder non tecnico?

Riepilogo

Il monitoring e alerting per data pipeline è uno strumento decisionale, non un argomento da manuale. Il valore nasce quando colleghi problema, dati, metrica, segmentazione e azione. Una buona analisi non finisce con “il numero è salito” o “il numero è sceso”, ma con una frase operativa: quale decisione prendiamo, con quale confidenza, e quale metrica useremo per sapere se avevamo ragione. La forma utile resta sempre la stessa: decisione, segnale, baseline, rischio e azione. Tutto il resto serve solo se rende più affidabile uno di questi passaggi.