Agenti AI da mettere davanti a utenti reali, e le eval che lo dimostrano.

Gli agenti sono facili da mostrare in demo e difficili da rendere affidabili

Un agente da demo risponde alle cinque domande che hai provato. Un agente in produzione incontra migliaia di persone che si esprimono in modo diverso, tralasciano dettagli importanti, cambiano idea e ogni tanto provano a romperlo. In sanità, anche un solo segnale di pericolo non colto è di troppo.

In Turn.io sono responsabile end-to-end delle funzionalità AI:

• L’agent harness che le organizzazioni usano per far girare agenti AI su WhatsApp: uso dei tool, orchestrazione, guardrail e handover tra agenti e verso gli operatori umani.
• Tool in sandbox. Gli agenti eseguono tool e codice dentro una sandbox Lua, che permette ai clienti di collegarli a cartelle cliniche e API esterne senza poter rompere la piattaforma.
• Eval offline con simulazioni. Un LLM interpreta l’utente a partire da una persona e da un obiettivo, porta avanti l’intera conversazione con il bot, e dei giudici LLM valutano la trascrizione rispetto a criteri definiti dal cliente. Le ho costruite perché i team che fanno triage clinico avevano bisogno di conoscere il tasso di errore prima che pazienti reali usassero il servizio.
• Eval online. Raccolta ed esportazione con OpenTelemetry GenAI di tutto il traffico AI, così i team possono valutare le conversazioni reali in Comet Opik, LangSmith o LangWatch.
• Il ciclo di feedback. I risultati delle eval confluiscono nel copilot AI usato da chi costruisce i bot, così un criterio fallito diventa una modifica concreta al bot, e chi l’ha fatta rilancia le eval per verificare che abbia funzionato.

Ho anche progettato sistemi di triage con due agenti che cooperano e un motore di regole deterministico per le decisioni ad alto rischio, misurato sensibilità ed errori di omissione con eval basate su simulazioni su dataset di vignette cliniche, e confrontato MedGemma con i modelli frontier su bot in produzione invece che sui benchmark. Per il lavoro su MedGemma ho quantizzato il modello da 27B in FP8, l’ho pubblicato su Hugging Face e l’ho messo in produzione con vLLM su Modal, con cold start di circa 21 secondi (partendo da ~100), così si paga solo per l’uso effettivo. Ho raccontato come funziona il deployment.

Cosa costruisco

Architettura degli agenti. Agente singolo, orchestratore con specialisti, oppure LLM più motore di regole, scelti in base a rischio e testabilità, non alle mode.

Tool e integrazioni. Tool ben tipizzati con timeout, sandbox e audit log, collegati al tuo CRM, alla cartella clinica elettronica o alle tue API interne.

Infrastruttura per le eval. Persona e obiettivi, dataset di scenari costruiti con gli esperti di dominio, giudici con criteri binari, esecuzioni ripetute per misurare la varianza e dashboard che mostrano l’andamento da una versione all’altra.

Tracing ed eval online. Span OpenTelemetry GenAI su chiamate LLM, tool e handover, campionati per la valutazione in produzione.

Scelta e hosting dei modelli. API frontier (Anthropic, OpenAI, Gemini) o modelli open self-hosted (vLLM, quantizzazione, GPU serverless), scelti in base alle tue eval.

Come lavoro

1. Partire da una call con chi lo userà. Faccio discovery con i tuoi utenti e i tuoi esperti di dominio, e la maggior parte dei criteri viene da loro.
2. Scrivere le eval prima di rifinire il prompt. Definire cosa significa “buono”, poi iterare.
3. Rilasciare in fretta una prima versione, misurarla sulle simulazioni, poi sul traffico reale.
4. Chiudere il ciclo. Ogni fallimento diventa un caso di test.

Servizi correlati

• Sviluppo WhatsApp Business Platform: dove vivono molti di questi agenti.
• Agentic coding per i team di sviluppo: usare gli agenti per scrivere software, non solo per metterli in produzione.