Repolode
提交项目
Wallawalla47

Wallawalla47/Infernix

基于 C++/CUDA 的推理引擎，在单张 RTX 5090 上运行 Qwen3.8 系列模型，由 NInfer 分支而来。

在 GitHub 查看
Star
280
Fork
38
未关闭 Issue
7
最近提交
8小时前

这是什么？

Infernix 是一个面向 Qwen 系列大模型的推理服务，目标是在一张 NVIDIA RTX 5090 上运行。它提供兼容 OpenAI Chat Completions、Responses 以及 Anthropic Messages 的接口，编码类智能体等客户端无需改动即可接入。Qwen3.8-Flash-Next 模型将路由专家保存在锁页系统内存中，热门专家缓存在显存里；内存不足时可从 SSD 层读取溢出的专家。

项目支持 MTP、DFlash、DFlash2 和 n-gram 等投机解码方式，并提供 int8、fp8、nvfp4、vq2 等 KV 缓存格式。此外还包括工具调用、基于 JSON Schema 与 GBNF 语法的约束解码、可跨重启保留的前缀缓存，以及图像输入。测试版的 Web 启动器可管理模型和配置，并为多个模型提供统一端点。

项目可在 Windows（MSVC）和 Linux（GCC）上原生构建，也附带 Dockerfile。作者说明，大部分代码和文档由 AI 辅助编写，属于业余开发，完整性和准确性不作保证。

核心功能

  • 01提供兼容 OpenAI 和 Anthropic 的 API，便于编码智能体接入
  • 02将专家卸载到锁页内存并在显存中缓存，可选 SSD 层
  • 03支持 MTP、DFlash、DFlash2 和 n-gram 投机解码
  • 04支持 int8、fp8、nvfp4、vq2 等多种 KV 缓存格式
  • 05支持工具调用，以及基于 JSON Schema 和 GBNF 的约束解码
  • 06提供测试版 Web 启动器，统一管理模型、配置和端点

适用场景

  • 在单张 RTX 5090 上本地运行 Qwen3.8 模型，供编码智能体使用
  • 为 Claude Code、Codex 等工具提供本地的 OpenAI 或 Anthropic 兼容接口
  • 在同一块 GPU 上比较不同 Qwen 量化版本的速度与质量

使用前须知

  • 设计上只面向单块 NVIDIA RTX 5090 显卡，其他硬件不在支持范围内。
  • README 称这是业余开发项目，且大部分内容由 AI 撰写，可能不完整或不准确。
  • 模型运行依赖大型模型文件和约 84 GiB 内存，部署成本较高。

收录于专题

本地运行大模型GPU 加速的 AI 训练与推理工具

标签

#llm-inference#cuda#qwen#gpu#local-llm#speculative-decoding#openai-compatible#cpp

常见问题

Infernix 是什么？
基于 C++/CUDA 的推理引擎，在单张 RTX 5090 上运行 Qwen3.8 系列模型，由 NInfer 分支而来。 Infernix 是一个面向 Qwen 系列大模型的推理服务，目标是在一张 NVIDIA RTX 5090 上运行。它提供兼容 OpenAI Chat Completions、Responses 以及 Anthropic Messages 的接口，编码类智能体等客户端无需改动即可接入。Qwen3.8-Flash-Next 模型将路由专家保存在锁页系统内存中，热门专家缓存在显存里；内存不足时可从 SSD 层读取溢出的专家。
Infernix 可以免费使用吗？用的什么许可证？
Infernix 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
Infernix 还在维护吗？
活跃维护中。Infernix 最近一次提交是在 2026年11月7日。
Infernix 适合用来做什么？
在单张 RTX 5090 上本地运行 Qwen3.8 模型，供编码智能体使用 为 Claude Code、Codex 等工具提供本地的 OpenAI 或 Anthropic 兼容接口 在同一块 GPU 上比较不同 Qwen 量化版本的速度与质量
在哪里获取 Infernix？
源代码和安装说明在 GitHub 上：https://github.com/Wallawalla47/Infernix

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目