Langfuse suma evaluadores en código y MCP amplio: evals de agentes sin pagar juez IA para todo

Langfuse publicó su actualización de mayo de 2026 con una señal clara para equipos que ya operan agentes: no todo eval necesita otro LLM. La plataforma agregó Code Evaluators, búsqueda full-text sobre observaciones, un MCP server más amplio y experimentos ejecutables en CI/CD.

La pieza importante para builders es separar dos tipos de calidad. Hay cosas que un juez IA puede evaluar mejor, como tono, completitud o razonamiento. Pero hay checks que deben ser deterministas: JSON válido, schema correcto, tool arguments completos, ausencia de campos prohibidos o una regla de negocio exacta.

Qué cambia con Code Evaluators

Langfuse dice que ahora puedes escribir una función evaluate en Python o TypeScript desde la UI, engancharla a observaciones en vivo o a experimentos con datasets, y guardar el resultado como score nativo.

Eso ataca un problema real. Muchos equipos prueban agentes con LLM-as-a-Judge para todo y terminan con tres costos ocultos:

• cada prueba consume tokens;
• los resultados pueden variar;
• y los errores objetivos quedan mezclados con opiniones semánticas.

Un evaluador en código no decide si una respuesta “suena útil”. Decide si el agente incluyó customer_id, respetó un enum, citó una fuente, no llamó una tool peligrosa o devolvió un JSON parseable.

El MCP cambia el rol de la observabilidad

La actualización también amplía Langfuse MCP. Según Langfuse, el servidor hospedado ya no cubre solo prompts: ahora expone categorías como observations, metrics, scores, datasets, comments, annotation queues, models, media y health.

Eso vuelve posible un flujo más agentic: un agente de guardia puede investigar una regresión, buscar una observación, consultar métricas, comentar el hallazgo y crear un score sin abrir manualmente el dashboard. La regla sana es mantenerlo read-only cuando solo investiga y permitir escritura solo para acciones de bajo riesgo o con aprobación.

CI/CD: donde esto se vuelve serio

El detalle más operativo es la acción para GitHub Actions. Langfuse plantea correr experimentos contra un dataset en cada PR, fallar el workflow si un score cae bajo el umbral y dejar el resultado como comentario.

Para agentes, eso es más útil que una demo de observabilidad. Un cambio en prompt, modelo, tool schema o retrieval puede pasar tests unitarios normales y aun así romper el comportamiento. Meter evals en CI convierte una regresión agentic en algo visible antes de mergear.