DeepSpeed añade una pérdida causal-LM por bloques para reducir memoria
El repositorio deepspeedai/DeepSpeed incluye un cambio, todavía en una rama de pruebas nightly-bisect, que añade una función de pérdida para modelos causales de lenguaje por bloques. Es opcional (opt-in) y evita materializar los logits en FP32 de todo el vocabulario. La noticia se corta en la descripción, por lo que no se conocen cifras de ahorro de memoria ni el estado de publicación.
Fuentes
- GitHub deepspeedai/DeepSpeeddeepspeedai/DeepSpeed: nightly-bisect/c