Google reproduce el preentrenamiento de Olmo 3 7B en MaxText sobre TPU con métricas equivalentes
Un equipo de Google Cloud reprodujo desde cero el preentrenamiento (etapa 1, unos 5,93 billones de tokens y 1,41 millones de pasos) y el annealing de mitad de entrenamiento (etapa 2) de Olmo 3 7B, de Ai2, usando MaxText en TPU. La curva de pérdida coincide con la publicada por Ai2 dentro de ±0,012 hasta unos 800.000 pasos, y al final de la etapa 1 las métricas de evaluación en datos no vistos son equivalentes. Durante la validación detectaron un error de fragmentación doble en el cargador de datos Grain que provocaba memorización; está corregido para futuras ejecuciones, y una variante con head-dim de 256 alcanza un 49,6 % de MFU frente al 44,2 % de la configuración original.
Fuentes
- Google Developers BlogReproducing Olmo 3 7B Pre-training in MaxText: case study of large scale training on TPUs