Repolode
Предложить
Luce-Org

Luce-Org/lucebox

C++-сервер для инференса LLM на потребительских GPU и смешанных системах AMD/NVIDIA со спекулятивным декодированием, спекулятивным prefill и кастомными ядрами.

Открыть на GitHubСайт
Звёзды
2,954
Форки
286
Открытые issues
111
Последний коммит
15 часов назад

Что это?

Lucebox — написанный на C++ сервер для инференса LLM, цель которого — ускорить работу больших локальных моделей на потребительском оборудовании. Он сочетает спекулятивное декодирование (небольшая draft-модель предлагает токены, которые затем проверяет целевая модель), спекулятивный prefill для сжатия длинных промптов и ядра, оптимизированные под конкретные модели и GPU. Сервер предоставляет OpenAI-совместимый API на локальном порту, а также endpoints Anthropic Messages и Responses.

Проект поддерживает карты NVIDIA через CUDA и карты AMD через HIP/ROCm. Он умеет распределять работу между разнородными устройствами — например, Radeon R9700 и APU Strix Halo, — а также размещать экспертов на SSD. Среди поддерживаемых моделей — варианты Qwen 3.x, Gemma 4, Laguna XS 2.1 и DeepSeek V4; для каждой опубликованы веса GGUF и draft-модели. Доступны Docker-образы для CUDA 12+ и ROCm 6+.

В репозитории также есть скрипты запуска клиентских окружений для инструментов разработки, таких как Claude Code, Codex, OpenCode и Open WebUI, а ещё поддержка генерации изображений (MOSS-Image) и ввода изображений. Результаты бенчмарков приводятся отдельно для каждой аппаратной конфигурации и напрямую между конфигурациями не сравниваются.

Ключевые возможности

  • 01Спекулятивное декодирование с draft-моделями для ускорения генерации токенов.
  • 02Спекулятивный prefill сжимает длинные промпты перед запуском основной модели.
  • 03Endpoints API OpenAI-совместимого формата, Anthropic Messages и Responses.
  • 04Поддержка бэкендов CUDA (NVIDIA) и HIP/ROCm (AMD), в том числе размещения на устройствах разных типов.
  • 05Paged attention и непрерывный батчинг для обработки нескольких одновременных запросов.
  • 06Готовые Docker-образы и профили запуска для конкретных аппаратных конфигураций.

Сценарии использования

  • Локальный запуск больших моделей с открытыми весами на одной потребительской GPU или AMD APU.
  • Предоставление локального OpenAI-совместимого endpoint для coding-агентов и чат-клиентов.
  • Обработка промптов с длинным контекстом на домашней рабочей станции с ограниченным объёмом VRAM.
  • Эксперименты со спекулятивным декодированием на оборудовании NVIDIA или AMD.

Что важно знать

  • В видимом README нет команд для установки или запуска, поэтому на этой странице неясно, как настроить проект.
  • Бенчмарки и профили рассчитаны на конкретное оборудование, например R9700, Strix Halo и RTX 3090, а на значках указаны требования CUDA 12+ или HIP 7+.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#llm-inference#speculative-decoding#cuda#rocm#local-ai#gpu#c-plus-plus#cuda-kernels#dflash#heterogeneous-computing

Частые вопросы

Что такое lucebox?
C++-сервер для инференса LLM на потребительских GPU и смешанных системах AMD/NVIDIA со спекулятивным декодированием, спекулятивным prefill и кастомными ядрами. Lucebox — написанный на C++ сервер для инференса LLM, цель которого — ускорить работу больших локальных моделей на потребительском оборудовании. Он сочетает спекулятивное декодирование (небольшая draft-модель предлагает токены, которые затем проверяет целевая модель), спекулятивный prefill для сжатия длинных промптов и ядра, оптимизированные под конкретные модели и GPU. Сервер предоставляет OpenAI-совместимый API на локальном порту, а также endpoints Anthropic Messages и Responses.
lucebox можно использовать бесплатно? Какая у него лицензия?
lucebox распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
lucebox всё ещё поддерживается?
Активно поддерживается. Последний коммит в lucebox — 24 окт. 2026 г..
Для чего можно использовать lucebox?
Локальный запуск больших моделей с открытыми весами на одной потребительской GPU или AMD APU. Предоставление локального OpenAI-совместимого endpoint для coding-агентов и чат-клиентов. Обработка промптов с длинным контекстом на домашней рабочей станции с ограниченным объёмом VRAM. Эксперименты со спекулятивным декодированием на оборудовании NVIDIA или AMD.
Где скачать lucebox?
Исходный код и инструкции по установке — на GitHub: https://github.com/Luce-Org/lucebox

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты