Langfuse publicó su actualización de mayo de 2026 con una señal clara para equipos que ya operan agentes: no todo eval necesita otro LLM. La plataforma agregó Code Evaluators, búsqueda full-text sobre observaciones, un MCP server más amplio y experimentos ejecutables en CI/CD.

La pieza importante para builders es separar dos tipos de calidad. Hay cosas que un juez IA puede evaluar mejor, como tono, completitud o razonamiento. Pero hay checks que deben ser deterministas: JSON válido, schema correcto, tool arguments completos, ausencia de campos prohibidos o una regla de negocio exacta.

Composición editorial de evaluadores deterministas revisando JSON, schemas y argumentos de tools antes de aprobar una corrida

Qué cambia con Code Evaluators

Langfuse dice que ahora puedes escribir una función evaluate en Python o TypeScript desde la UI, engancharla a observaciones en vivo o a experimentos con datasets, y guardar el resultado como score nativo.

Eso ataca un problema real. Muchos equipos prueban agentes con LLM-as-a-Judge para todo y terminan con tres costos ocultos:

cada prueba consume tokens;
los resultados pueden variar;
y los errores objetivos quedan mezclados con opiniones semánticas.

Un evaluador en código no decide si una respuesta “suena útil”. Decide si el agente incluyó customer_id, respetó un enum, citó una fuente, no llamó una tool peligrosa o devolvió un JSON parseable.

El MCP cambia el rol de la observabilidad

La actualización también amplía Langfuse MCP. Según Langfuse, el servidor hospedado ya no cubre solo prompts: ahora expone categorías como observations, metrics, scores, datasets, comments, annotation queues, models, media y health.

Eso vuelve posible un flujo más agentic: un agente de guardia puede investigar una regresión, buscar una observación, consultar métricas, comentar el hallazgo y crear un score sin abrir manualmente el dashboard. La regla sana es mantenerlo read-only cuando solo investiga y permitir escritura solo para acciones de bajo riesgo o con aprobación.

Mapa editorial de un agente consultando trazas, métricas y datasets por MCP mientras CI bloquea una regresión

CI/CD: donde esto se vuelve serio

El detalle más operativo es la acción para GitHub Actions. Langfuse plantea correr experimentos contra un dataset en cada PR, fallar el workflow si un score cae bajo el umbral y dejar el resultado como comentario.

Para agentes, eso es más útil que una demo de observabilidad. Un cambio en prompt, modelo, tool schema o retrieval puede pasar tests unitarios normales y aun así romper el comportamiento. Meter evals en CI convierte una regresión agentic en algo visible antes de mergear.

Intención de búsqueda y oportunidad

Las búsquedas probables son Langfuse Code Evaluators, Langfuse MCP, agent evals CI/CD, LLM-as-a-Judge vs code evaluator y Langfuse GitHub Action. La demanda se infiere de la cobertura oficial, la existencia de docs y el interés creciente por evals de agentes en producción.

Agente IA puede competir porque el ángulo en español no debería ser “otra herramienta de observabilidad”. El punto útil es: qué checks conviene escribir en código, cuáles dejar a un juez IA y cómo evitar que cada PR sea un experimento a ciegas.

Si estás empezando, no necesitas montar todo esto el día uno. Pero cuando tu agente ya toma decisiones con tools, conviene tener al menos tres evals deterministas: formato de salida, argumentos de tool y bloqueo de acciones sensibles. Después puedes complementar con evaluación semántica. Para la base de ese diseño, conecta esto con el curso gratis.

Mi lectura corta: Langfuse está empujando evals menos mágicos y más mantenibles. En agentes reales, esa es una mejora grande: menos juez IA para reglas exactas, más CI para detectar regresiones antes de producción.