Cheat sheet: agentic AI for data work

Questo cheat sheet affronta un problema concreto: usare un agente sui dati senza trasformare il lavoro analitico in una sequenza di risposte impossibili da verificare. Non si chiede al modello di “fare analisi”, si progetta un flusso in cui domanda, dati, controlli e decisione restano visibili e tracciabili. Il punto di partenza è la lezione precedente, il caso-studio-sistema-agentico-per-analytics-operations, a cui aggiungo un livello operativo più specifico. La promessa professionale è semplice: più velocità e copertura sul lavoro dati, con la ownership su definizioni, soglie, segmenti e raccomandazioni che resta in mano a chi risponde dei risultati.

Real-world problem

Una review settimanale mette nella stessa stanza marketing, prodotto e data team. Devono decidere cosa correggere prima: funnel, tracking, campagna, modello o pipeline. Senza un agente l’analista perde ore in passaggi ripetitivi; con un agente usato male consegna una spiegazione convincente e fragile.

Il problema nasce quando un team vuole accelerare il lavoro sui dati ma non distingue i compiti delegabili dalle responsabilità non delegabili. L’agente aiuta a generare ipotesi, query, documentazione, test, feature candidate o sintesi. La decisione resta umana quando tocca budget, roadmap, clienti, compliance, accessi o modelli in produzione.

L’obiettivo operativo è produrre un artefatto che un altro professionista possa revisionare. Se alla fine non sai indicare quale decisione cambia, quale dato osservi e quale errore vuoi evitare, la lezione non è ancora diventata competenza applicata.

Conceptual model

Il modello poggia su quattro livelli: compito, contesto, controllo e decisione. Il compito descrive cosa può fare l’agente. Il contesto indica dati, definizioni, strumenti e vincoli. Il controllo verifica che l’output non sia solo plausibile. La decisione chiarisce cosa cambia nel lavoro del team.

Level	What to clarify	Example in data work
Task	Which part of the work is accelerated?	Query draft, data profile, AutoML checklist, memo
Context	What information makes the output useful?	Schema, metric, period, segment, policy
Control	Come scopri se l’output è sbagliato?	Test grain, baseline, leakage, review owner
Decision	What action follows if the control holds?	Fix pipeline, experiment, deploy, recommendation

I quattro livelli evitano due errori opposti: usare l’AI come autocomplete testuale oppure affidarle decisioni che richiedono giudizio di business. La competenza professionale sta nel disegnare quel confine.

Rigorous formalization

Per rendere il cheat sheet analizzabile conviene definire l’unità di lavoro: una checklist, una policy, un gate, un tool, una eval, una trace o una regola di escalation. A quell’unità si collegano segnali osservabili come completezza dei guardrail, chiarezza dell’owner, costo previsto, auditabilità e fallback. La decisione attesa è usare una checklist per approvare, limitare o fermare workflow agentici nei dati.

Element	Requested specification
Unit of analysis	checklist, policy, gate, tool, eval, trace, or escalation rule
Primary signal	completezza guardrail, chiarezza owner, costo previsto, auditabilità e fallback
Baseline	Manual process, previous period, comparable group or current model
Decision	using a checklist to approve, limit, or stop agentic workflows in data
Guardrail	Privacy, costo, qualità dati, interpretabilità, ownership e rischio operativo
Main risk	ridurre la governance agentica a una lista da spuntare senza testare failure mode reali

La formalizzazione regge quando un reviewer riproduce la logica, critica le assunzioni e ottiene la stessa decisione partendo dagli stessi dati. Se il risultato dipende da una conversazione mai tracciata, il workflow non è ancora maturo.

Operating Framework

Il framework procede in cinque passaggi. Prima definisci la decisione da migliorare. Poi descrivi il dato disponibile, i limiti noti e il contesto di business. Terzo, chiedi all’agente di proporre ipotesi o passaggi, non conclusioni definitive. Quarto, trasformi le proposte in controlli eseguibili. Quinto, consegni un output che separa cosa sappiamo, cosa non sappiamo e cosa faremo.

Step	Guiding question	Minimum Output
Decision	Which choice needs to improve?	Operating Verb and Owner
Context	What do we know about the data?	Sources, grain, period, limitations
AI Support	Quale parte può essere accelerata?	Prompt, tool or checklist
Verification	Which error could change the conclusion?	Control, guardrail, baseline
Handoff	Who decides and by what criteria?	Memo, ticket, model or dashboard

Lo schema vale per analisi esplorativa, SQL, data engineering, AutoML e workflow agentici. Cambiano gli strumenti, non il principio: nessun output va trattato come evidenza finché non è legato a fonte, controllo e decisione.

Example or case study

Prima di abilitare un agente sulle query del warehouse, il team controlla lo scope degli strumenti, i dati ammessi, il budget, l’eval set, i log, le approvazioni e il piano di rollback.

Il caso mostra che al centro non c’è l’AI. Al centro c’è il ciclo decisionale: domanda, dato, controllo, raccomandazione, monitoraggio. L’agente aiuta a ridurre l’attrito tra questi passaggi, e ogni passaggio resta controllabile.

Observed evidence	Cautious interpretation	Recommended action
Il workflow produce output più rapidamente	La velocità è utile solo se non abbassa qualità e controllo	Compare with manual baseline and independent review
The model proposes plausible explanations	La plausibilità linguistica non è prova empirica	Translate every explanation into data or process control
The result improves a metric	Potrebbe esserci effetto composizione, leakage o stagionalità	Segment, verify guardrails and monitor over time

Un caso studio fatto bene non si chiude con “l’AI ha funzionato”. Si chiude con una decisione difendibile: cosa automatizzare, cosa tenere manuale, quale metrica monitorare e quale condizione fermerebbe il processo.

Esercizio guidato

Parti da una scheda di una pagina sul cheat sheet: decisione da supportare, input richiesti, output atteso, controllo minimo e rischio principale. Usa un caso semplice come una variazione di conversione, una pipeline in ritardo o un modello forecast da valutare.

Quando la scheda regge, costruisci una tabella con tre scenari, cioè workflow manuale, workflow assistito dall’AI e workflow con automazione più spinta, annotando per ciascuno tempo stimato, qualità attesa, rischio operativo, controllo necessario e owner finale. Poi prepara un decision memo revisionabile che includa ipotesi, dati richiesti, criteri di esclusione, controlli di qualità, soglia decisionale, rischio residuo e piano di monitoraggio dopo la decisione, con una sezione su cosa farebbe cambiare idea al team.

Per i materiali, appoggiati a checklist agentica, catalogo dei tool, risk register, eval set, policy di approval e template di rollout. Se non hai accesso a dati reali, costruisci un dataset sintetico di almeno 200 righe con una dimensione temporale, una dimensione segmento, una metrica primaria e un campo che rappresenti un possibile errore di qualità.

Typical mistake to avoid

Il primo errore è usare il cheat sheet come etichetta invece che come processo. Capita quando il team mostra un output generato senza spiegare dati, controlli e decisione. Il secondo è confondere la produttività del singolo con l’affidabilità dell’organizzazione. Il terzo è non aver deciso in anticipo quali azioni sono permesse, quali richiedono approval e quali restano vietate.

La correzione pratica è scrivere tre righe prima di iniziare.

Line	Content
Decision	Which concrete choice do we want to improve
Evidence	Quale dato o controllo può sostenere la scelta
Stop	Which risk would make us stop or ask for review

Se manca una di queste tre righe, il workflow non è pronto. L’agente può ancora servire come supporto esplorativo, ma non come parte stabile del processo decisionale.

Domande di verifica

Prima di proseguire, rispondi in modo specifico a cinque domande. Quale decisione concreta dovrebbe migliorare questa lezione. Quale parte del workflow puoi delegare all’AI e quale deve restare sotto owner umano. Quale baseline useresti per capire se il nuovo processo migliora davvero. Quale failure mode renderebbe pericoloso un output apparentemente corretto. Quale artefatto consegneresti a uno stakeholder, scegliendo tra memo, dashboard, query review, model card, runbook o checklist.

Se le risposte restano generiche, torna al problema reale prima di andare avanti. Una risposta vaga di solito significa che hai automatizzato troppo presto.

Essential technical references

Questi riferimenti servono a orientare scelte tecniche destinate a cambiare nel tempo. Non vanno copiati come ricette ma usati per verificare concetti, limiti e terminologia prima di progettare workflow reali.

• OpenAI Agents SDK: https://developers.openai.com/api/docs/guides/agents
• LangGraph overview: https://docs.langchain.com/oss/python/langgraph/overview
• LangGraph workflows and agents: https://docs.langchain.com/oss/python/langgraph/workflows-agents

Operational Summary

Il cheat sheet diventa utile quando produce una decisione più chiara, non quando aggiunge terminologia. Il ciclo decisione, contesto, supporto AI, verifica e handoff è ciò che trasforma la lezione in pratica verificabile.

La regola finale è semplice. Più il workflow usa tool, stato, approvazioni e trace, più deve essere osservabile. Un output che non puoi ricostruire, revisionare o fermare non è automazione professionale; è solo velocità non governata.