LangChain publica guía sobre evaluaciones (evals) de agentes de IA
LangChain explica cómo evaluar agentes de IA, que no pueden probarse con tests unitarios tradicionales por su variabilidad y sus pasos autónomos. Recomienda empezar con un comportamiento concreto, un dataset de 10-20 ejemplos sacados de trazas y una línea base, combinar evals offline antes de desplegar con evals online en producción, y usar evaluadores de código, LLM-as-a-judge y revisión humana. Presenta también los benchmarks (p. ej. Terminal-Bench, ejecutado con Harbor y registrado en LangSmith) como evals offline con tareas más largas y entornos en contenedores.
Fuentes
- LangChain BlogThe Most Common Questions About Agent Evals, Answered