Cómo los modelos de lenguaje aprenden el in-context learning: copiar frente a componer
Un estudio de arXiv (cs.CL) evalúa 17 modelos de lenguaje con un diagnóstico controlado que distingue copiar un ejemplo cercano de integrar información de todo el prompt. Alrededor de un tercio prefiere la respuesta copiada, algunos quedan indecisos y el resto prefiere la respuesta coherente con la regla, que se asocia a mayor precisión. Los autores concluyen que el in-context learning no se adquiere como una capacidad única, sino que el control del prompt, la preferencia de respuesta, la construcción sin candidatos y la transferencia siguen trayectorias distintas.
Fuentes
- arXiv cs.CLFrom Copying to Composition: How Language Models Develop In-Context Learning