Cómo elegir configuraciones fiables para evaluar modelos base de lenguaje
Investigadores analizan 8 aspectos de configuración de la evaluación de LLM (formulación de tareas, número de ejemplos in-context, etc.) y los comparan con tres criterios de señal: monotonía, no aleatoriedad y consistencia de ranking entre checkpoints. Los experimentos usan 26 modelos monolingües de 2B parámetros y 80 tareas en cuatro idiomas, además de tres modelos de al menos 7B. El uso de múltiples prompts resulta consistentemente útil, mientras que la formulación de tareas depende del tamaño del modelo.
Fuentes
- arXiv cs.CLHow to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking