Repolode
Предложить
Wallawalla47

Wallawalla47/Infernix

C++/CUDA-движок инференса для запуска моделей Qwen3.8 и Qwen3.8-27B на одной видеокарте NVIDIA RTX 5090, форк NInfer.

Открыть на GitHub
Звёзды
275
Форки
38
Открытые issues
7
Последний коммит
вчера

Что это?

Infernix — сервер инференса для языковых моделей Qwen, рассчитанный на работу с одной NVIDIA RTX 5090. Он предоставляет API, совместимые с OpenAI Chat Completions, Responses и Anthropic Messages, поэтому агенты для программирования и другие клиенты могут подключаться без изменений. В моделях Qwen3.8-Flash-Next маршрутизируемые эксперты хранятся в закреплённой системной RAM, а часто используемые кэшируются в VRAM; при нехватке RAM к экспертам, не поместившимся в память, можно обращаться на SSD.

Проект поддерживает спекулятивное декодирование с MTP, DFlash, DFlash2 и n-gram-драфтерами, а также форматы KV-кэша, включая int8, fp8, nvfp4 и vq2. Кроме того, доступны вызов инструментов, ограниченное декодирование с JSON Schema и грамматиками GBNF, кэш префиксов, сохраняющийся после перезапуска, и обработка изображений. Веб-лаунчер в бета-версии позволяет управлять моделями и конфигурациями и предоставляет одну конечную точку для нескольких моделей.

Проект нативно собирается в Windows с MSVC и в Linux с GCC; также в комплекте есть Dockerfile. Автор отмечает, что значительная часть кода и документации написана при помощи ИИ, а проект разрабатывается как хобби, поэтому полнота и точность не гарантируются.

Ключевые возможности

  • 01API, совместимые с OpenAI и Anthropic, для агентов программирования и других клиентов
  • 02Выгрузка экспертов в закреплённую RAM и кэширование в VRAM с дополнительным уровнем на SSD
  • 03Спекулятивное декодирование с MTP, DFlash, DFlash2 и n-gram-драфтерами
  • 04Несколько форматов KV-кэша, включая int8, fp8, nvfp4 и vq2
  • 05Вызов инструментов и ограниченное декодирование с JSON Schema и грамматиками GBNF
  • 06Веб-лаунчер для управления моделями и конфигурациями и настройки единой конечной точки

Сценарии использования

  • Локальный запуск моделей Qwen3.8 на одной RTX 5090 для агентов программирования
  • Предоставление локальной конечной точки, совместимой с OpenAI или Anthropic, для таких инструментов, как Claude Code или Codex
  • Сравнение скорости инференса и качества разных квантованных версий Qwen на одной видеокарте

Что важно знать

  • Проект рассчитан на одну видеокарту NVIDIA RTX 5090, поэтому по своей конструкции не поддерживает другое оборудование.
  • В README говорится, что проект разрабатывается как хобби и в основном написан с помощью ИИ, поэтому он может быть неполным или содержать неточности.
  • Для настройки модели требуются большие файлы модели и около 84 GiB оперативной памяти, поэтому запуск требует значительных ресурсов.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#llm-inference#cuda#qwen#gpu#local-llm#speculative-decoding#openai-compatible#cpp

Частые вопросы

Что такое Infernix?
C++/CUDA-движок инференса для запуска моделей Qwen3.8 и Qwen3.8-27B на одной видеокарте NVIDIA RTX 5090, форк NInfer. Infernix — сервер инференса для языковых моделей Qwen, рассчитанный на работу с одной NVIDIA RTX 5090. Он предоставляет API, совместимые с OpenAI Chat Completions, Responses и Anthropic Messages, поэтому агенты для программирования и другие клиенты могут подключаться без изменений. В моделях Qwen3.8-Flash-Next маршрутизируемые эксперты хранятся в закреплённой системной RAM, а часто используемые кэшируются в VRAM; при нехватке RAM к экспертам, не поместившимся в память, можно обращаться на SSD.
Infernix можно использовать бесплатно? Какая у него лицензия?
Infernix распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Infernix всё ещё поддерживается?
Активно поддерживается. Последний коммит в Infernix — 6 нояб. 2026 г..
Для чего можно использовать Infernix?
Локальный запуск моделей Qwen3.8 на одной RTX 5090 для агентов программирования Предоставление локальной конечной точки, совместимой с OpenAI или Anthropic, для таких инструментов, как Claude Code или Codex Сравнение скорости инференса и качества разных квантованных версий Qwen на одной видеокарте
Где скачать Infernix?
Исходный код и инструкции по установке — на GitHub: https://github.com/Wallawalla47/Infernix

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты