Repolode
Enviar
kvcache-ai

kvcache-ai/ktransformers

Framework de investigación para inferencia de LLM con arquitectura heterogénea CPU-GPU y ajuste fino LoRA o completo de modelos MoE grandes con memoria GPU limitada.

Ver en GitHubSitio web
Estrellas
19,621
Forks
1,602
Issues abiertos
526
Último commit
anteayer

¿Qué es?

KTransformers es un proyecto de investigación para ejecutar y ajustar modelos de lenguaje grandes repartiendo el trabajo entre CPU y GPU. Su componente de inferencia ofrece kernels optimizados para CPU para pesos cuantizados INT4/INT8, con aceleración AMX y AVX512/AVX2 y gestión de memoria compatible con NUMA para modelos Mixture-of-Experts. Los expertos más activos pueden ubicarse en la GPU y los menos activos permanecer en la CPU; además, los kernels ofrecen una API de Python para integrarse con SGLang.

El componente de ajuste fino se integra con LLaMA-Factory para admitir el entrenamiento LoRA y de parámetros completos de modelos MoE de escala ultra grande, como DeepSeek-V3/R1, Qwen3 MoE y variantes de Kimi K2, con memoria GPU limitada. El proyecto también documenta configuraciones BF16, FP8 e INT8, planificación de recursos y resolución de problemas, y publica un artículo de investigación sobre su método de ajuste fino heterogéneo para MoE.

Funciones clave

  • 01Kernels optimizados para Intel AMX y AVX512/AVX2 para inferencia cuantizada INT4/INT8
  • 02Planificación de expertos entre CPU y GPU para modelos MoE, con los expertos más activos en la GPU y los menos activos en la CPU
  • 03API de Python para integrarse con SGLang
  • 04Ajuste fino LoRA y de parámetros completos integrado con LLaMA-Factory
  • 05Compatibilidad con configuraciones de entrenamiento BF16, FP8 e INT8

Casos de uso

  • Ejecutar modelos MoE grandes en una sola GPU junto con un servidor CPU con mucha memoria
  • Servir modelos MoE mediante SGLang con ubicación híbrida de expertos entre CPU y GPU
  • Ajustar modelos MoE de escala ultra grande con unas pocas GPU de consumo mediante LLaMA-Factory

Inicio rápido

  1. 1

    Ve al directorio del código fuente de kt-kernel

    cd kt-kernel
  2. 2

    Instala kt-kernel desde el código fuente

    pip install .

Antes de usarlo

  • Está diseñado para hardware especializado y depende de CPU y GPU con Intel AMX o AVX512/AVX2 para la inferencia heterogénea.
  • Se presenta como un proyecto de investigación y el framework integrado original se ha archivado.

Temas

#llm-inference#fine-tuning#mixture-of-experts#cpu-offload#quantization#lora#sglang

Preguntas frecuentes

¿Qué es ktransformers?
Framework de investigación para inferencia de LLM con arquitectura heterogénea CPU-GPU y ajuste fino LoRA o completo de modelos MoE grandes con memoria GPU limitada. KTransformers es un proyecto de investigación para ejecutar y ajustar modelos de lenguaje grandes repartiendo el trabajo entre CPU y GPU. Su componente de inferencia ofrece kernels optimizados para CPU para pesos cuantizados INT4/INT8, con aceleración AMX y AVX512/AVX2 y gestión de memoria compatible con NUMA para modelos Mixture-of-Experts. Los expertos más activos pueden ubicarse en la GPU y los menos activos permanecer en la CPU; además, los kernels ofrecen una API de Python para integrarse con SGLang.
¿ktransformers es gratuito? ¿Qué licencia tiene?
ktransformers es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ktransformers sigue mantenido?
Mantenimiento activo. El último commit de ktransformers fue el 20 oct 2026.
¿Para qué puedo usar ktransformers?
Ejecutar modelos MoE grandes en una sola GPU junto con un servidor CPU con mucha memoria Servir modelos MoE mediante SGLang con ubicación híbrida de expertos entre CPU y GPU Ajustar modelos MoE de escala ultra grande con unas pocas GPU de consumo mediante LLaMA-Factory
¿Cómo se instala ktransformers?
Ve al directorio del código fuente de kt-kernel: cd kt-kernel Instala kt-kernel desde el código fuente: pip install .
¿Dónde consigo ktransformers?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kvcache-ai/ktransformers

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados