JSSA: atención dispersa a nivel de token para decodificación con contexto largo
Investigadores presentan Joint Subspace Sparse Attention (JSSA), un método que aprende un subespacio compartido de baja dimensión para seleccionar tokens relevantes y reducir el tráfico de la caché KV en la decodificación de LLM. Incluye un kernel de atención indexada sin gather que admite selecciones distintas por cabezal KV bajo GQA. Según el resumen, mantiene una precisión cercana a la de atención completa en modelos GQA, de ventana deslizante/global y MLA, y alcanza hasta 6,43x el rendimiento de decodificación de la atención completa con 128K de contexto en una NVIDIA B200. Sin entrenamiento adicional, logra una precisión de razonamiento comparable a DSA nativo y un 96-99 % de su rendimiento en modelos de 700B.
Fuentes
- arXiv cs.CLJoint Subspace Sparse Attention for Efficient Long-Context Decoding