Los LLM rinden peor en bengalí que en inglés al resumir textos
Un estudio evalúa en modo zero-shot ocho LLM, cerrados y de pesos abiertos, en resumen abstractivo con conjuntos de prueba XL-Sum de inglés y bengalí de tamaño equiparado. Combina métricas léxicas y semánticas, verificación de factualidad sin referencia y evaluación LLM-as-a-Judge. GPT-5.6 Luna lidera varias métricas léxicas en inglés, pero no mantiene esa ventaja en bengalí, donde LLaMA 3.3 70B obtiene los mejores ROUGE y BLEU, y Gemini 2.5 Flash logra la mayor factualidad observada en bengalí. Los distintos métodos de evaluación dan rankings diferentes, lo que hace inviable fiarse de una sola métrica.
Fuentes
- arXiv cs.CLEvaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali