Reforge AI Evals: skills para que agentes de código creen evaluaciones de IA
Calibre-Labs ha publicado en GitHub un conjunto de skills para agentes de programación como Claude Code, Codex y Cursor, que les guían en la creación de evaluaciones para productos de IA: rúbricas, conjuntos de datos, análisis de trazas, evaluadores basados en código, prompts de LLM-as-a-judge y calibración de jueces. El usuario se reserva dos pasos, la lectura de trazas y el etiquetado de salidas para calibrar los jueces. El repositorio, con 74 estrellas, procede del curso Reforge AI Evals de Sandhya Hegde y Justin Bauer, y una auditoría de seguridad automatizada lo califica como SAFE con una puntuación de calidad de 71/100.
Fuentes
- Agent Skills Hub — New Skillsreforge-ai-evals by Calibre-Labs — ★ 74