Un usuario japonés cuenta cómo montó una IA local en casa para dejar las suscripciones
Un blogger japonés relata que sustituyó sus suscripciones mensuales a asistentes de IA por una IA local en su ordenador de sobremesa. Según el autor, cambió su GPU por una de 12 GB de VRAM comprada de segunda mano por 160 € y amplió la RAM a 64 GB, y con el motor de inferencia «Strata» haría funcionar un modelo de 125.000 millones de parámetros a velocidad práctica. Vendió la GPU anterior por 80 €, con lo que el coste neto declarado es de unos 16.000 yenes (1 € = 200 yenes, tipo fijado por el autor).
Fuentes
- #LLMタグ『GPUの壁を突破せよ。』高性能AIを実質1.6万円で手に入れて、毎月のAI継続課金を停止した完全設計書