Qwen3.8-27B a unos 70 tokens/s en una RTX 3090 con el fork llamAmpere

Relevancia 42 de 100

Guía práctica para ejecutar Qwen3.8-27B cuantizado (GGUF IQ4_XS) en una RTX 3090 usando llamAmpere, un fork de llama.cpp optimizado para GPUs Ampere, con compilación, descarga de modelo y plantilla de chat corregida. El autor reporta unos 79 tokens/s de decodificación con prompt corto y 70,5 tokens/s con un contexto de unos 100.000 tokens, frente a 67,4 y 47,0 tokens/s con llama.cpp estándar usando caché q8_0/q4_0. Indica además que la configuración funciona con Claude Code en local.

Fuentes

Habr Machine Learning (RU)70 токенов в секунду в qwen3.8–27b на RTX 3090