Di notte un agente AI risponde a un cliente e chiude il ticket. Il giorno dopo salta fuori il problema: ha promesso un rimborso non previsto e ha citato procedure obsolete senza spiegare nulla. La parte peggiore non è l’errore in sé, ma il fatto che nessuno riesce a capire come e perché sia successo.
Un agente senza log è solo una promessa di fiducia
Nel software tradizionale tieni d’occhio errori, tempi di risposta e chiamate API. Con gli agenti AI serve uno strato in più: tracciare il ragionamento operativo. Non significa leggere la “mente” del modello, significa registrare eventi concreti, dalla richiesta ricevuta alle fonti consultate, dai prompt usati agli strumenti invocati, fino all’output generato, alle conferme umane chieste e alle azioni completate o bloccate.
Con questi dati capisci se l’agente segue il processo previsto o se sta improvvisando. E quando qualcosa va storto hai una traccia su cui ragionare, invece di una discussione basata sulle impressioni.
Log, metriche e tracce: un sistema integrato
I log raccontano gli eventi, le metriche mostrano i pattern, le tracce collegano i passaggi. Un agente che alza il tasso di chiusura ticket sembra efficace, ma le tracce possono rivelare chiusure premature di conversazioni ambigue, i log possono far emergere fonti obsolete e i guardrail possono segnalare riaperture frequenti.
Senza questa visione combinata finisci per ottimizzare una metrica a scapito dell’esperienza reale.
Cosa tracciare davvero
Tracciare tutto senza un criterio genera rumore, costi e rischi per la privacy. Conviene monitorare solo ciò che serve a decidere. Si parte da alcune domande: qual è l’obiettivo dell’agente? Quali azioni possono causare un danno? Quali fonti sono autorizzate? Quando deve fermarsi e chiedere aiuto? Quale metrica indica che sta davvero aiutando l’utente?
Da queste domande nascono gli eventi che vale la pena registrare, come agent_tool_called, agent_source_used, human_approval_requested, unsafe_action_blocked, task_completed e task_reopened.
Come applicare l’osservabilità senza complicare
Non serve partire dallo strumento più avanzato. Parti dai punti in cui il team perde tempo o decide senza dati. Un agente non è una chat brillante, è un sistema con input chiari, strumenti limitati, memoria controllata e regole esplicite per passare la decisione a una persona quando il rischio sale.
Una sequenza che funziona:
- Definire quali dati l’agente può leggere e quali no.
- Scrivere risultati attesi verificabili, non intenzioni vaghe.
- Stabilire quando serve una revisione umana prima di inviare o salvare un output.
- Misurare tempo risparmiato, errori evitati e casi di blocco.
Cosa misurare per capire se funziona
La domanda non è se usi l’AI o una nuova dashboard, ma quale decisione è diventata più veloce, più chiara o più sicura. Se non cambia nessuna decisione, il progetto rischia di restare decorazione tecnica.
Misura almeno tre livelli: il tempo operativo risparmiato, la qualità del risultato e la fiducia del team nel processo. Il tempo da solo può ingannare, perché un flusso più rapido ma meno controllabile non è un miglioramento. Anche la qualità da sola può ingannare, perché un sistema perfetto ma troppo lento non entra nel lavoro quotidiano.
La riflessione umana
Osservare un agente non è sfiducia, è rispetto per il lavoro che gli hai affidato. Se agisce su clienti, dati o ricavi, deve essere trasparente quanto qualsiasi altro sistema critico.
La tecnologia migliore non è quella che sembra autonoma, è quella che sa rendere conto di ciò che fa.
Prima di mettere un agente in produzione, fatti una domanda: se domani prendesse una decisione sbagliata, saprei ricostruire perché?