Costos, latencia y seguridad antes de abrir tu agente a clientes reales
Checklist operativo para publicar un agente en mensajeria sin sorpresas de factura, respuestas lentas o fuga de datos.
Abrir un agente a clientes reales no deberia depender de "a ver que pasa". Antes del primer usuario externo, revisa tres areas: costos, latencia y seguridad.
Estas tres no se arreglan solo con un prompt mejor. Son decisiones de arquitectura.
Costos
Calcula costo por conversacion resuelta, no solo costo por token. Incluye:
- Entrada y salida del modelo.
- Llamadas a herramientas.
- Reintentos.
- Mensajes del canal.
- Almacenamiento de logs.
- Revision humana.
Si una conversacion promedio tiene cinco turnos, dos llamadas a herramientas y una respuesta larga, tu costo real puede ser muy distinto al calculo inicial.
Define limites:
- Maximo de turnos antes de resumir.
- Maximo de herramientas por conversacion.
- Modelo rapido para preguntas simples.
- Modelo fuerte solo para casos complejos.
- Corte automatico si una tarea supera presupuesto.
Latencia
En mensajeria, una respuesta de 20 segundos se siente rota. No todo necesita ser instantaneo, pero el usuario debe saber que esta pasando.
Patrones utiles:
- Confirmar recepcion rapido.
- Procesar tareas largas en segundo plano.
- Enviar "estoy revisando" solo cuando aporta claridad.
- Cachear respuestas frecuentes.
- Usar streaming cuando el canal lo permita.
Mide p50 y p95. El promedio puede verse bien aunque muchos usuarios sufran esperas largas.
Seguridad
El agente no deberia tener acceso directo a secretos ni permisos amplios. Usa herramientas con permisos reducidos y valida del lado del servidor.
Checklist minimo:
- Tokens en variables de entorno, no en prompts.
- Validacion de webhook por canal.
- Logs sin datos sensibles innecesarios.
- Redaccion de PII cuando sea posible.
- Handoff humano en temas legales, financieros o sensibles.
- Rate limits por usuario y canal.
- Lista de herramientas permitidas por contexto.
Antes de publicar
Haz una prueba cerrada con usuarios internos. Guarda conversaciones fallidas y conviertelas en evals. Revisa facturacion diaria la primera semana. Configura alertas de errores y de costo.
Un agente listo para clientes no es el que responde bonito. Es el que responde con limites, costos previsibles y una salida segura cuando no debe continuar solo.