Repolode
Предложить
kvcache-ai

kvcache-ai/ktransformers

Исследовательский фреймворк для гетерогенного инференса LLM на CPU и GPU, а также LoRA- и полного дообучения крупных MoE-моделей при ограниченной видеопамяти.

Открыть на GitHubСайт
Звёзды
19,621
Форки
1,602
Открытые issues
526
Последний коммит
позавчера

Что это?

KTransformers — исследовательский проект для запуска и дообучения крупных языковых моделей с распределением нагрузки между CPU и GPU. Для инференса доступны оптимизированные под CPU ядра для квантованных весов INT4/INT8 с ускорением AMX и AVX512/AVX2, а также управление памятью с учётом NUMA для моделей Mixture-of-Experts. Горячие эксперты можно размещать на GPU, а холодные — оставлять на CPU. Ядра предоставляют Python API для интеграции с SGLang.

Для дообучения проект интегрируется с LLaMA-Factory и поддерживает LoRA и обучение всех параметров ультрабольших MoE-моделей, таких как DeepSeek-V3/R1, варианты Qwen3 MoE и Kimi K2, при ограниченной видеопамяти. В проекте также описаны конфигурации BF16, FP8 и INT8, планирование ресурсов и устранение неполадок, а также опубликована исследовательская статья о подходе к гетерогенному дообучению MoE-моделей.

Ключевые возможности

  • 01Оптимизированные для Intel AMX и AVX512/AVX2 ядра для инференса с квантованием INT4/INT8
  • 02Распределение экспертов MoE-моделей между CPU и GPU: горячие эксперты размещаются на GPU, холодные — на CPU
  • 03Python API для интеграции с SGLang
  • 04Интеграция с LLaMA-Factory для дообучения LoRA и обучения всех параметров
  • 05Поддержка конфигураций обучения BF16, FP8 и INT8

Сценарии использования

  • Запуск крупных MoE-моделей на одном GPU в паре с сервером CPU с большим объёмом памяти
  • Запуск MoE-моделей через SGLang с гибридным размещением экспертов на CPU и GPU
  • Дообучение ультрабольших MoE-моделей на нескольких потребительских GPU с помощью LLaMA-Factory

Быстрый старт

  1. 1

    Перейдите в каталог исходного кода kt-kernel

    cd kt-kernel
  2. 2

    Установите kt-kernel из исходного кода

    pip install .

Что важно знать

  • Проект создан для специализированного оборудования и использует CPU и GPU с Intel AMX или AVX512/AVX2 для гетерогенного вывода.
  • Проект позиционируется как исследовательский, а исходный интегрированный фреймворк помещён в архив.

Темы

#llm-inference#fine-tuning#mixture-of-experts#cpu-offload#quantization#lora#sglang

Частые вопросы

Что такое ktransformers?
Исследовательский фреймворк для гетерогенного инференса LLM на CPU и GPU, а также LoRA- и полного дообучения крупных MoE-моделей при ограниченной видеопамяти. KTransformers — исследовательский проект для запуска и дообучения крупных языковых моделей с распределением нагрузки между CPU и GPU. Для инференса доступны оптимизированные под CPU ядра для квантованных весов INT4/INT8 с ускорением AMX и AVX512/AVX2, а также управление памятью с учётом NUMA для моделей Mixture-of-Experts. Горячие эксперты можно размещать на GPU, а холодные — оставлять на CPU. Ядра предоставляют Python API для интеграции с SGLang.
ktransformers можно использовать бесплатно? Какая у него лицензия?
ktransformers распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ktransformers всё ещё поддерживается?
Активно поддерживается. Последний коммит в ktransformers — 20 окт. 2026 г..
Для чего можно использовать ktransformers?
Запуск крупных MoE-моделей на одном GPU в паре с сервером CPU с большим объёмом памяти Запуск MoE-моделей через SGLang с гибридным размещением экспертов на CPU и GPU Дообучение ультрабольших MoE-моделей на нескольких потребительских GPU с помощью LLaMA-Factory
Как установить ktransformers?
Перейдите в каталог исходного кода kt-kernel: cd kt-kernel Установите kt-kernel из исходного кода: pip install .
Где скачать ktransformers?
Исходный код и инструкции по установке — на GitHub: https://github.com/kvcache-ai/ktransformers

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты