Toolkit baseado em PyTorch com implementações de LLMs open-weight do zero para pré-treinamento, fine-tuning, avaliação e serving de mais de 20 modelos.
13,7 mil1,5 milPythonApache-2.0Atualizado há 9 dias
kvcache-ai/ktransformers
Framework de pesquisa para inferência de LLMs com CPU e GPU heterogêneas e fine-tuning LoRA/completo de grandes modelos MoE com memória de GPU limitada.
- Estrelas
- 19,621
- Forks
- 1,602
- Issues abertas
- 526
- Último commit
- anteontem
O que é?
KTransformers é um projeto de pesquisa para executar e fazer fine-tuning de grandes modelos de linguagem, distribuindo o trabalho entre CPU e GPU. Na parte de inferência, oferece kernels otimizados para CPU para pesos quantizados em INT4/INT8, com aceleração AMX e AVX512/AVX2 e gerenciamento de memória com reconhecimento de NUMA para modelos Mixture-of-Experts. Os experts mais ativos podem ficar na GPU, enquanto os menos ativos permanecem na CPU; os kernels também oferecem uma API Python para integração com SGLang.
A parte de fine-tuning integra-se ao LLaMA-Factory para oferecer suporte a LoRA e ao treinamento de todos os parâmetros de modelos MoE ultragrandes, como variantes DeepSeek-V3/R1, Qwen3 MoE e Kimi K2, com memória de GPU limitada. O projeto também documenta configurações BF16, FP8 e INT8, planejamento de recursos e solução de problemas, além de publicar um artigo de pesquisa sobre sua abordagem de fine-tuning heterogêneo de MoE.
Recursos principais
- 01Kernels otimizados para Intel AMX e AVX512/AVX2 para inferência quantizada em INT4/INT8
- 02Agendamento de experts entre CPU e GPU para modelos MoE, com os experts mais ativos na GPU e os menos ativos na CPU
- 03API Python para integração com SGLang
- 04Fine-tuning LoRA e de todos os parâmetros integrado ao LLaMA-Factory
- 05Suporte a configurações de treinamento BF16, FP8 e INT8
Casos de uso
- Executar grandes modelos MoE em uma única GPU combinada com um servidor CPU com muita memória
- Servir modelos MoE por meio do SGLang com posicionamento híbrido de experts entre CPU e GPU
- Fazer fine-tuning de modelos MoE ultragrandes em algumas GPUs para consumidores com o LLaMA-Factory
Início rápido
- 1
Acesse o diretório do código-fonte do kt-kernel
cd kt-kernel - 2
Instale o kt-kernel a partir do código-fonte
pip install .
Antes de usar
- Foi desenvolvido para hardware especializado e depende de CPUs e GPUs com Intel AMX ou AVX512/AVX2 para inferência heterogênea.
- É apresentado como um projeto de pesquisa, e o framework integrado original foi arquivado.
Tópicos
Perguntas frequentes
- O que é ktransformers?
- Framework de pesquisa para inferência de LLMs com CPU e GPU heterogêneas e fine-tuning LoRA/completo de grandes modelos MoE com memória de GPU limitada. KTransformers é um projeto de pesquisa para executar e fazer fine-tuning de grandes modelos de linguagem, distribuindo o trabalho entre CPU e GPU. Na parte de inferência, oferece kernels otimizados para CPU para pesos quantizados em INT4/INT8, com aceleração AMX e AVX512/AVX2 e gerenciamento de memória com reconhecimento de NUMA para modelos Mixture-of-Experts. Os experts mais ativos podem ficar na GPU, enquanto os menos ativos permanecem na CPU; os kernels também oferecem uma API Python para integração com SGLang.
- ktransformers é gratuito? Qual é a licença?
- ktransformers é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ktransformers ainda é mantido?
- Manutenção ativa. O último commit de ktransformers foi em 20 de out. de 2026.
- Para que posso usar ktransformers?
- Executar grandes modelos MoE em uma única GPU combinada com um servidor CPU com muita memória Servir modelos MoE por meio do SGLang com posicionamento híbrido de experts entre CPU e GPU Fazer fine-tuning de modelos MoE ultragrandes em algumas GPUs para consumidores com o LLaMA-Factory
- Como instalar ktransformers?
- Acesse o diretório do código-fonte do kt-kernel: cd kt-kernel Instale o kt-kernel a partir do código-fonte: pip install .
- Onde consigo ktransformers?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/kvcache-ai/ktransformers
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
39,5 mil4 milJupyter NotebookApache-2.0Atualizado há 3 dias
Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed.
2296PythonOtherAtualizado ontem
Um mecanismo de inferência em C puro que executa modelos MoE muito grandes em hardware comum, carregando especialistas selecionados do disco sob demanda.
43 mil4,8 milCApache-2.0Atualizado anteontem
Um toolkit para compactar, implantar e servir LLMs e modelos de visão e linguagem, com engines de inferência TurboMind e PyTorch.
8,1 mil767PythonApache-2.0Atualizado há 22 horas
Receita para servir o DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) em dois NVIDIA DGX Sparks como uma API compatível com OpenAI, com janela de 1 milhão de tokens.
13421ShellApache-2.0Atualizado anteontem