Um toolkit para compactar, implantar e servir LLMs e modelos de visão e linguagem, com engines de inferência TurboMind e PyTorch.
8,1 mil+2 esta semana769PythonApache-2.0Atualizado há 17 horas
Luce-Org/lucebox
Servidor de inferência de LLM em C++ para GPUs de consumo e máquinas com AMD e NVIDIA, usando speculative decoding, speculative prefill e kernels personalizados.
- Estrelas
- 2,954
- Forks
- 286
- Issues abertas
- 111
- Último commit
- há 17 horas
O que é?
O Lucebox é um servidor de inferência de LLM escrito em C++ que busca acelerar a execução de modelos locais grandes em hardware de consumo. Ele combina speculative decoding (um modelo auxiliar pequeno propõe tokens que o modelo-alvo verifica), speculative prefill para comprimir prompts longos e kernels ajustados para cada modelo e GPU. Ele oferece uma API compatível com OpenAI em uma porta local, além dos endpoints Anthropic Messages e Responses.
O projeto oferece suporte a placas NVIDIA via CUDA e AMD via HIP/ROCm, e pode distribuir o trabalho entre dispositivos heterogêneos, como uma Radeon R9700 combinada com uma APU Strix Halo, ou transferir experts para um SSD. Os modelos compatíveis incluem variantes do Qwen 3.x, Gemma 4, Laguna XS 2.1 e DeepSeek V4, cada um com pesos GGUF e modelos auxiliares publicados. Há imagens Docker para CUDA 12+ e ROCm 6+.
O repositório também inclui inicializadores de harnesses de cliente para ferramentas de programação como Claude Code, Codex, OpenCode e Open WebUI, além de geração de imagens (MOSS-Image) e suporte a entrada de imagens. Os benchmarks são apresentados para cada configuração de hardware e não são diretamente comparáveis entre configurações.
Recursos principais
- 01Speculative decoding com modelos auxiliares para gerar tokens mais rapidamente.
- 02Speculative prefill, que comprime prompts longos antes da execução do modelo principal.
- 03Endpoints de API compatíveis com OpenAI, Anthropic Messages e Responses.
- 04Suporte a backends CUDA (NVIDIA) e HIP/ROCm (AMD), incluindo distribuição entre dispositivos diferentes.
- 05Paged attention e continuous batching para atender várias solicitações simultâneas.
- 06Imagens Docker pré-compiladas e perfis de inicialização para configurações de hardware específicas.
Casos de uso
- Executar modelos grandes de pesos abertos localmente em uma GPU de consumo ou APU AMD.
- Oferecer um endpoint local compatível com OpenAI para agentes de programação e clientes de chat.
- Processar prompts com contexto longo em uma workstation doméstica com VRAM limitada.
- Experimentar speculative decoding em hardware NVIDIA ou AMD.
Antes de usar
- O README visível não contém comandos de instalação nem de execução, então não dá para saber como configurar o projeto por esta página.
- Os benchmarks e perfis são voltados a hardwares específicos, como R9700, Strix Halo e RTX 3090, e os selos indicam que é necessário usar CUDA 12+ ou HIP 7+.
Em coleções
Tópicos
Perguntas frequentes
- O que é lucebox?
- Servidor de inferência de LLM em C++ para GPUs de consumo e máquinas com AMD e NVIDIA, usando speculative decoding, speculative prefill e kernels personalizados. O Lucebox é um servidor de inferência de LLM escrito em C++ que busca acelerar a execução de modelos locais grandes em hardware de consumo. Ele combina speculative decoding (um modelo auxiliar pequeno propõe tokens que o modelo-alvo verifica), speculative prefill para comprimir prompts longos e kernels ajustados para cada modelo e GPU. Ele oferece uma API compatível com OpenAI em uma porta local, além dos endpoints Anthropic Messages e Responses.
- lucebox é gratuito? Qual é a licença?
- lucebox é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- lucebox ainda é mantido?
- Manutenção ativa. O último commit de lucebox foi em 24 de out. de 2026.
- Para que posso usar lucebox?
- Executar modelos grandes de pesos abertos localmente em uma GPU de consumo ou APU AMD. Oferecer um endpoint local compatível com OpenAI para agentes de programação e clientes de chat. Processar prompts com contexto longo em uma workstation doméstica com VRAM limitada. Experimentar speculative decoding em hardware NVIDIA ou AMD.
- Onde consigo lucebox?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Luce-Org/lucebox
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework open source da DeepSeek para inferência offline do DeepSeek-V4.1-Flash em hardware NVIDIA SM100 e Huawei Ascend 950.
21,8 mil+2 mil esta semana2,5 milPythonApache-2.0Atualizado há 4 dias
Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo.
24,1 mil+40 esta semana2,3 milCMITAtualizado ontem
Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil+15 esta semana3,2 milPythonBSD-3-ClauseAtualizado há 11 horas
Código de inferência do EAGLE-4, um sistema de decodificação especulativa que acelera o serving de LLMs no SGLang, vLLM e TokenSpeed.
964+122 esta semana32PythonOtherAtualizado há 18 horas
Plugin para vLLM que adiciona as otimizações de inferência da Snowflake — Shift Parallelism, speculative decoding e SwiftKV — para servir LLMs e gerar embeddings com mais rapidez e menor custo.
491+1 esta semana69PythonApache-2.0Atualizado mês passado