Pruebas de KLD de Qwen3.8 27B: mejor combinación de cuantización KV en 16 GB de VRAM
Un usuario de Reddit (r/LocalLLaMA) evalúa 21 modelos Qwen3.8 27B con 9 combinaciones de cuantización KV que caben en 16 GB de VRAM, con 189 benchmarks basados en KLD y perplejidad. Concluye que q5_1/q5_1 suele superar a q8_0/q4_0 y q4_0/q8_0, y que un modelo de cuantización superior con KV q4_0/q4_0 suele rendir mejor que el inmediatamente inferior con KV f16/f16. Advierte que la conclusión no aplica a Gemma, que requiere KV f16, ni es fiable para finetunes como Bonsai o Swift.
Fuentes
- Reddit r/LocalLLaMAI tested Qwen3.8 27B KLD for 21 Models at 9 different KV quants that fit on 16GB VRAM (189 benchmarks).