Fork do llama.cpp ajustado para placas NVIDIA RTX 30 da arquitetura Ampere, principalmente a RTX 3090, para rodar modelos Qwen3.8 localmente.
27234C++MITBem mantidoAtualizado há 4 horas
Wallawalla47/Infernix
Mecanismo de inferência em C++/CUDA que serve os modelos Qwen3.8 e Qwen3.8-27B em uma única GPU NVIDIA RTX 5090; um fork do NInfer.
- Estrelas
- 280
- Forks
- 38
- Issues abertas
- 7
- Último commit
- há 8 horas
O que é?
Infernix é um servidor de inferência para modelos de linguagem Qwen, desenvolvido para rodar em uma única NVIDIA RTX 5090. Ele oferece APIs compatíveis com OpenAI Chat Completions, Responses e Anthropic Messages, permitindo que agentes de programação e outros clientes se conectem sem alterações. Os modelos Qwen3.8-Flash-Next mantêm os especialistas roteados na RAM do sistema fixada, com os especialistas mais usados em cache na VRAM, e podem ler especialistas excedentes de uma unidade SSD quando a RAM é limitada.
O projeto oferece decodificação especulativa com MTP, DFlash, DFlash2 e geradores n-gram, além de formatos de cache KV como int8, fp8, nvfp4 e vq2. Também inclui chamadas de ferramentas, decodificação restrita com esquemas JSON Schema e gramáticas GBNF, um cache de prefixos que persiste entre reinicializações e entrada de visão. Um iniciador web beta gerencia modelos e configurações e disponibiliza um único endpoint para vários modelos.
O projeto compila nativamente no Windows com MSVC e no Linux com GCC, e inclui um Dockerfile. O autor observa que boa parte do código e da documentação foi escrita com ajuda de IA e que se trata de um projeto pessoal, portanto não há garantia de que seja completo ou preciso.
Recursos principais
- 01APIs compatíveis com OpenAI e Anthropic para agentes de programação e outros clientes
- 02Transferência de especialistas para RAM fixada e cache na VRAM, com uma camada SSD opcional
- 03Decodificação especulativa com MTP, DFlash, DFlash2 e geradores n-gram
- 04Vários formatos de cache KV, incluindo int8, fp8, nvfp4 e vq2
- 05Chamadas de ferramentas e decodificação restrita com esquemas JSON Schema e gramáticas GBNF
- 06Iniciador web para gerenciar modelos, configurações e um endpoint único
Casos de uso
- Executar modelos Qwen3.8 localmente em uma única RTX 5090 para agentes de programação
- Disponibilizar um endpoint local compatível com OpenAI ou Anthropic para ferramentas como Claude Code ou Codex
- Comparar a velocidade e a qualidade de inferência de diferentes quantizações do Qwen em uma GPU
Antes de usar
- Foi projetado para uma única GPU NVIDIA RTX 5090, portanto não oferece suporte a outros hardwares.
- O README informa que é um projeto desenvolvido como hobby e que a maior parte foi escrita com IA, então pode estar incompleto ou conter imprecisões.
- A configuração do modelo depende de arquivos grandes e de cerca de 84 GiB de RAM, o que torna a execução pesada.
Em coleções
Tópicos
Perguntas frequentes
- O que é Infernix?
- Mecanismo de inferência em C++/CUDA que serve os modelos Qwen3.8 e Qwen3.8-27B em uma única GPU NVIDIA RTX 5090; um fork do NInfer. Infernix é um servidor de inferência para modelos de linguagem Qwen, desenvolvido para rodar em uma única NVIDIA RTX 5090. Ele oferece APIs compatíveis com OpenAI Chat Completions, Responses e Anthropic Messages, permitindo que agentes de programação e outros clientes se conectem sem alterações. Os modelos Qwen3.8-Flash-Next mantêm os especialistas roteados na RAM do sistema fixada, com os especialistas mais usados em cache na VRAM, e podem ler especialistas excedentes de uma unidade SSD quando a RAM é limitada.
- Infernix é gratuito? Qual é a licença?
- Infernix é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- Infernix ainda é mantido?
- Manutenção ativa. O último commit de Infernix foi em 7 de nov. de 2026.
- Para que posso usar Infernix?
- Executar modelos Qwen3.8 localmente em uma única RTX 5090 para agentes de programação Disponibilizar um endpoint local compatível com OpenAI ou Anthropic para ferramentas como Claude Code ou Codex Comparar a velocidade e a qualidade de inferência de diferentes quantizações do Qwen em uma GPU
- Onde consigo Infernix?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Wallawalla47/Infernix
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um mecanismo de inferência CUDA desenvolvido do zero que executa o modelo GLM 5.3 completo em três a seis máquinas DGX Spark (GB10), com uma API compatível com OpenAI.
62+12 esta semana13CudaMITAtualizado há 4 horas
Um mecanismo de inferência de LLM para modelos compatíveis com Hugging Face, baseado em vLLM, com serviço compatível com OpenAI e implantação distribuída.
IA e Machine Learning#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding
1,9 mil+1 esta semana213PythonAGPL-3.0Bem mantidoAtualizado há 5 horas
Conecta um iPhone a um Mac via USB-C para usar a GPU do celular na execução local de um modelo Qwen 27B, acelerando a leitura de prompts e ampliando o contexto.
1,2 mil+26 esta semana114PythonMITAtualizado há 20 horas
Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB.
100+2 esta semana6PythonOtherBem mantidoAtualizado anteontem
Um mecanismo local de inferência de LLM para Macs com Apple silicon, que atende agentes de programação e APIs compatíveis com OpenAI e Anthropic usando speculative decoding e kernels Metal.
2,1 mil+135 esta semana208C++Apache-2.0Bem mantidoAtualizado ontem