Toolkit para comprimir, desplegar y servir LLM y modelos de visión y lenguaje, con motores de inferencia TurboMind y PyTorch.
8,1 mil+2 esta semana769PythonApache-2.0Actualizado hace 17 horas
Luce-Org/lucebox
Servidor de inferencia de LLM en C++ para GPU de consumo y equipos con hardware AMD y NVIDIA, con speculative decoding, speculative prefill y kernels personalizados.
- Estrellas
- 2,954
- Forks
- 286
- Issues abiertos
- 111
- Último commit
- hace 17 horas
¿Qué es?
Lucebox es un servidor de inferencia de LLM escrito en C++ que busca acelerar la ejecución de modelos grandes en local con hardware de consumo. Combina speculative decoding (un modelo borrador pequeño propone tokens que verifica el modelo objetivo), speculative prefill para comprimir prompts largos y kernels optimizados para cada modelo y GPU. Expone una API compatible con OpenAI en un puerto local, además de endpoints Anthropic Messages y Responses.
El proyecto está dirigido a tarjetas NVIDIA mediante CUDA y AMD mediante HIP/ROCm, y permite distribuir la carga entre dispositivos heterogéneos, como una Radeon R9700 junto con una APU Strix Halo, o trasladar expertos a un SSD. Entre los modelos compatibles están Qwen 3.x, Gemma 4, Laguna XS 2.1 y variantes de DeepSeek V4, todos con pesos GGUF y modelos borrador publicados. Se proporcionan imágenes Docker para CUDA 12+ y ROCm 6+.
El repositorio también incluye lanzadores de entornos de cliente para herramientas de programación como Claude Code, Codex, OpenCode y Open WebUI, además de generación de imágenes (MOSS-Image) y compatibilidad con entrada de imágenes. Los benchmarks se presentan para cada configuración de hardware y no se pueden comparar directamente entre distintas configuraciones.
Funciones clave
- 01Speculative decoding con modelos borrador para generar tokens más rápido.
- 02Speculative prefill que comprime prompts largos antes de ejecutar el modelo principal.
- 03Endpoints de API compatibles con OpenAI y para Anthropic Messages y Responses.
- 04Admite los backends CUDA (NVIDIA) y HIP/ROCm (AMD), incluida la asignación entre dispositivos mixtos.
- 05Paged attention y continuous batching para atender varias solicitudes simultáneas.
- 06Imágenes Docker precompiladas y perfiles de inicio para configuraciones de hardware específicas.
Casos de uso
- Ejecutar localmente modelos grandes de pesos abiertos en una GPU de consumo o una APU AMD.
- Ofrecer un endpoint local compatible con OpenAI para agentes de programación y clientes de chat.
- Procesar prompts con contextos largos en una computadora de escritorio doméstica con VRAM limitada.
- Experimentar con speculative decoding en hardware NVIDIA o AMD.
Antes de usarlo
- El README visible no incluye comandos de instalación ni de ejecución, así que esta página no permite saber cómo configurar el proyecto.
- Las pruebas de rendimiento y los perfiles están dirigidos a hardware específico, como R9700, Strix Halo y RTX 3090, y las insignias indican que se requiere CUDA 12+ o HIP 7+.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es lucebox?
- Servidor de inferencia de LLM en C++ para GPU de consumo y equipos con hardware AMD y NVIDIA, con speculative decoding, speculative prefill y kernels personalizados. Lucebox es un servidor de inferencia de LLM escrito en C++ que busca acelerar la ejecución de modelos grandes en local con hardware de consumo. Combina speculative decoding (un modelo borrador pequeño propone tokens que verifica el modelo objetivo), speculative prefill para comprimir prompts largos y kernels optimizados para cada modelo y GPU. Expone una API compatible con OpenAI en un puerto local, además de endpoints Anthropic Messages y Responses.
- ¿lucebox es gratuito? ¿Qué licencia tiene?
- lucebox es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿lucebox sigue mantenido?
- Mantenimiento activo. El último commit de lucebox fue el 24 oct 2026.
- ¿Para qué puedo usar lucebox?
- Ejecutar localmente modelos grandes de pesos abiertos en una GPU de consumo o una APU AMD. Ofrecer un endpoint local compatible con OpenAI para agentes de programación y clientes de chat. Procesar prompts con contextos largos en una computadora de escritorio doméstica con VRAM limitada. Experimentar con speculative decoding en hardware NVIDIA o AMD.
- ¿Dónde consigo lucebox?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Luce-Org/lucebox
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework de inferencia offline de código abierto de DeepSeek para ejecutar DeepSeek-V4.1-Flash en hardware NVIDIA SM100 y Huawei Ascend 950.
21,8 mil+2 mil esta semana2,5 milPythonApache-2.0Actualizado hace 4 días
Motor de inferencia nativo y especializado para ejecutar DeepSeek V4 Flash y otros modelos grandes seleccionados en hardware de consumo con Metal, CUDA y ROCm.
24,1 mil+40 esta semana2,3 milCMITActualizado ayer
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil+15 esta semana3,2 milPythonBSD-3-ClauseActualizado hace 11 horas
Código de inferencia para EAGLE-4, un sistema de decodificación especulativa que acelera el servicio de LLM en SGLang, vLLM y TokenSpeed.
964+122 esta semana32PythonOtherActualizado hace 18 horas
Plugin para vLLM que incorpora optimizaciones de inferencia de Snowflake (Shift Parallelism, speculative decoding y SwiftKV) para servir LLM y embeddings de forma más rápida y económica.
491+1 esta semana69PythonApache-2.0Actualizado el mes pasado