AMD MI355X iguala por GPU el rendimiento del HGX B300 de NVIDIA en Kimi K3
En el benchmark AgentX, un sistema de ocho GPU AMD Instinct MI355X con vLLM sirve Kimi K3 con un 24,4 % más de tokens totales por segundo y GPU que NVIDIA HGX B300 a 50 tokens/s/usuario (P90), y un 87,4 % más de tokens por dólar según el coste modelado por SemiAnalysis. El avance se atribuye a optimizaciones de software en vLLM: reutilización de caché con DCP8 y descarga a CPU, eliminación de trabajo duplicado en MoE, fusión de kernels en KDA, y MLA con el ensamblador de AMD AITER.
Fuentes
- vLLM BlogScaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX