Un fork de llama.cpp optimizado para tarjetas NVIDIA RTX 30-series Ampere, sobre todo la RTX 3090, para ejecutar modelos Qwen3.8 localmente.
22731C++MITBien mantenidoActualizado hace 12 horas
Wallawalla47/Infernix
Motor de inferencia en C++/CUDA que ejecuta los modelos Qwen3.8 y Qwen3.8-27B en una sola GPU NVIDIA RTX 5090; es un fork de NInfer.
- Estrellas
- 275
- Forks
- 38
- Issues abiertos
- 7
- Último commit
- hace 17 horas
¿Qué es?
Infernix es un servidor de inferencia para modelos de lenguaje Qwen, diseñado para ejecutarse en una NVIDIA RTX 5090. Ofrece APIs compatibles con OpenAI Chat Completions, Responses y Anthropic Messages, para que los agentes de programación y otros clientes puedan conectarse sin cambios. Los modelos Qwen3.8-Flash-Next mantienen los expertos enrutados en RAM del sistema fijada, con los expertos más utilizados en caché en VRAM, y pueden leer expertos adicionales desde una unidad SSD cuando la RAM es limitada.
El proyecto admite decodificación especulativa con MTP, DFlash, DFlash2 y generadores n-gram, además de formatos de caché KV como int8, fp8, nvfp4 y vq2. También incluye llamadas a herramientas, decodificación restringida con esquemas JSON Schema y gramáticas GBNF, una caché de prefijos que persiste tras los reinicios y entrada de imágenes. Un iniciador web beta permite administrar modelos y configuraciones, y ofrece un único endpoint para varios modelos.
Se compila de forma nativa en Windows con MSVC y en Linux con GCC, e incluye un Dockerfile. El autor señala que gran parte del código y la documentación se escribió con ayuda de IA y que se trata de un proyecto personal, por lo que no se garantiza que esté completo ni que sea preciso.
Funciones clave
- 01APIs compatibles con OpenAI y Anthropic para agentes de programación y otros clientes
- 02Transferencia de expertos a RAM fijada y caché en VRAM, con una capa SSD opcional
- 03Decodificación especulativa con MTP, DFlash, DFlash2 y generadores n-gram
- 04Varios formatos de caché KV, como int8, fp8, nvfp4 y vq2
- 05Llamadas a herramientas y decodificación restringida con esquemas JSON Schema y gramáticas GBNF
- 06Iniciador web para administrar modelos, configuraciones y un endpoint único
Casos de uso
- Ejecutar modelos Qwen3.8 localmente en una sola RTX 5090 para agentes de programación
- Ofrecer un endpoint local compatible con OpenAI o Anthropic para herramientas como Claude Code o Codex
- Comparar la velocidad y la calidad de inferencia de distintas cuantizaciones de Qwen en una sola GPU
Antes de usarlo
- Está diseñado para una sola GPU NVIDIA RTX 5090, por lo que no es compatible con otro hardware.
- El README indica que es un proyecto desarrollado por afición y que la mayor parte se escribió con IA, así que puede estar incompleto o contener errores.
- La configuración del modelo requiere archivos de gran tamaño y unos 84 GiB de RAM, por lo que su ejecución exige muchos recursos.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es Infernix?
- Motor de inferencia en C++/CUDA que ejecuta los modelos Qwen3.8 y Qwen3.8-27B en una sola GPU NVIDIA RTX 5090; es un fork de NInfer. Infernix es un servidor de inferencia para modelos de lenguaje Qwen, diseñado para ejecutarse en una NVIDIA RTX 5090. Ofrece APIs compatibles con OpenAI Chat Completions, Responses y Anthropic Messages, para que los agentes de programación y otros clientes puedan conectarse sin cambios. Los modelos Qwen3.8-Flash-Next mantienen los expertos enrutados en RAM del sistema fijada, con los expertos más utilizados en caché en VRAM, y pueden leer expertos adicionales desde una unidad SSD cuando la RAM es limitada.
- ¿Infernix es gratuito? ¿Qué licencia tiene?
- Infernix es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Infernix sigue mantenido?
- Mantenimiento activo. El último commit de Infernix fue el 6 nov 2026.
- ¿Para qué puedo usar Infernix?
- Ejecutar modelos Qwen3.8 localmente en una sola RTX 5090 para agentes de programación Ofrecer un endpoint local compatible con OpenAI o Anthropic para herramientas como Claude Code o Codex Comparar la velocidad y la calidad de inferencia de distintas cuantizaciones de Qwen en una sola GPU
- ¿Dónde consigo Infernix?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Wallawalla47/Infernix
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un motor de inferencia CUDA creado desde cero que ejecuta el modelo completo GLM 5.3 en entre tres y seis equipos DGX Spark (GB10) con una API compatible con OpenAI.
60+10 esta semana13CudaMITActualizado hace 9 horas
Un motor de inferencia LLM para modelos compatibles con Hugging Face, basado en vLLM, con servicio compatible con OpenAI y despliegue distribuido.
IA y Machine Learning#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding
1,9 mil213PythonAGPL-3.0Bien mantenidoActualizado hace 4 días
Conecta un iPhone a un Mac por USB-C para que la GPU del teléfono ayude a ejecutar localmente un modelo Qwen 27B y agilice la lectura de prompts y amplíe el contexto.
1,2 mil+26 esta semana114PythonMITActualizado hace 11 días
Un launcher y una configuración de llama.cpp con parches para ejecutar el modelo ternario de 1,58 bits Ternary Bonsai 2 27B con un contexto de 262k en GPU NVIDIA de 12 GB y 8 GB.
100+2 esta semana6PythonOtherBien mantenidoActualizado hace 23 horas
Motor local de inferencia de LLM para Mac con Apple silicon, con APIs compatibles con OpenAI y Anthropic para agentes de programación.
2,1 mil+149 esta semana207C++Apache-2.0Bien mantenidoActualizado hace 23 horas