Repolode
投稿する
Wallawalla47

Wallawalla47/Infernix

NInferからフォークされたC++/CUDA推論エンジン。単一のNVIDIA RTX 5090 GPUでQwen3.8およびQwen3.8-27Bを提供します。

GitHub で見る
スター
275
フォーク
38
未解決の Issue
7
最終コミット
昨日

これは何？

Infernixは、1台のNVIDIA RTX 5090で動作するよう設計された、Qwen言語モデル向けの推論サーバーです。OpenAI Chat Completions、Responses、Anthropic Messages互換のAPIを提供するため、コーディングエージェントなどのクライアントは変更なしで接続できます。Qwen3.8-Flash-Nextモデルでは、ルーティングされたエキスパートをピン留めしたシステムRAMに置き、よく使うエキスパートをVRAMにキャッシュします。RAMが不足している場合は、SSD階層からオーバーフローしたエキスパートを読み込むこともできます。

MTP、DFlash、DFlash2、n-gramドラフターによる投機的デコーディングに加え、int8、fp8、nvfp4、vq2などのKVキャッシュ形式に対応しています。また、ツール呼び出し、JSON SchemaとGBNF文法による制約付きデコーディング、再起動後も保持されるプレフィックスキャッシュ、画像入力もサポートします。ベータ版のWebランチャーでは、モデルや設定を管理し、複数のモデルに対応する単一のエンドポイントを公開できます。

WindowsではMSVC、LinuxではGCCを使ったネイティブビルドに対応し、Dockerfileも含まれています。作者によると、コードとドキュメントの多くはAIの支援を受けて作成されており、趣味で開発しているため、完全性や正確性は保証されません。

主な機能

  • 01コーディングエージェントなどのクライアント向けのOpenAIおよびAnthropic互換API
  • 02エキスパートをピン留めしたRAMにオフロードし、VRAMにキャッシュ。オプションでSSD階層も利用可能
  • 03MTP、DFlash、DFlash2、n-gramドラフターによる投機的デコーディング
  • 04int8、fp8、nvfp4、vq2など複数のKVキャッシュ形式に対応
  • 05ツール呼び出し、JSON SchemaおよびGBNF文法による制約付きデコーディング
  • 06モデルや設定を管理し、単一のエンドポイントを提供するWebランチャー

ユースケース

  • 単一のRTX 5090上でQwen3.8モデルをローカル実行し、コーディングエージェントに利用する
  • Claude CodeやCodexなどのツール向けに、OpenAIまたはAnthropic互換のローカルエンドポイントを提供する
  • 1台のGPUで、異なるQwen量子化モデルの推論速度と品質を比較する

使う前に知っておきたいこと

  • 単一の NVIDIA RTX 5090 GPU を対象としているため、設計上、ほかのハードウェアには対応していません。
  • README によると、趣味で開発されており、大部分が AI によって書かれているため、不完全または不正確な可能性があります。
  • モデルのセットアップには大容量のモデルファイルと約 84 GiB の RAM が必要なため、実行には多くのリソースを要します。

収録されている特集

LLM をローカルで動かすGPU で AI を学習・実行するツール

トピック

#llm-inference#cuda#qwen#gpu#local-llm#speculative-decoding#openai-compatible#cpp

よくある質問

Infernix とは？
NInferからフォークされたC++/CUDA推論エンジン。単一のNVIDIA RTX 5090 GPUでQwen3.8およびQwen3.8-27Bを提供します。 Infernixは、1台のNVIDIA RTX 5090で動作するよう設計された、Qwen言語モデル向けの推論サーバーです。OpenAI Chat Completions、Responses、Anthropic Messages互換のAPIを提供するため、コーディングエージェントなどのクライアントは変更なしで接続できます。Qwen3.8-Flash-Nextモデルでは、ルーティングされたエキスパートをピン留めしたシステムRAMに置き、よく使うエキスパートをVRAMにキャッシュします。RAMが不足している場合は、SSD階層からオーバーフローしたエキスパートを読み込むこともできます。
Infernix は無料で使えますか？ライセンスは？
Infernix は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Infernix は今もメンテナンスされていますか？
活発にメンテナンス中。Infernix の最終コミットは 2026年11月6日 です。
Infernix は何に使えますか？
単一のRTX 5090上でQwen3.8モデルをローカル実行し、コーディングエージェントに利用する Claude CodeやCodexなどのツール向けに、OpenAIまたはAnthropic互換のローカルエンドポイントを提供する 1台のGPUで、異なるQwen量子化モデルの推論速度と品質を比較する
Infernix はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Wallawalla47/Infernix

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト