wici-ai/inferssd

これは何？

主な機能

• 01SSDからエキスパートをストリーミングし、使用可能なRAMやVRAMを超えるMoEモデルを実行します。
• 02llama.cppをベースにした標準的なGGUFモデルファイルを読み込みます。
• 03ターミナルでのチャットモードとブラウザのWeb UIを提供します。
• 04ローカルエンドポイントでOpenAI互換APIを公開します。
• 05Apple Silicon（Metal）と、NVIDIA CUDAを搭載したLinuxに対応します。

ユースケース

• メモリが限られたノートPCやワークステーションで、大規模なMoEモデルを実行する。
• OpenAI APIを想定したツール向けに、ローカルのOpenAI互換エンドポイントを提供する。
• 一般向けGPUやApple Silicon搭載マシンで、SSDを活用した推論を試す。

クイックスタート

1. 1

   READMEの公式インストールスクリプトを実行します（ソースからビルドするため、2〜12分かかります）

2. 2

   ターミナルでモデルとチャットします

   inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
3. 3

   または、Web UIとOpenAI互換APIを http://127.0.0.1:8080 で起動します

   inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

使う前に知っておきたいこと

• !対応環境はApple Silicon搭載のmacOSとNVIDIA GPU搭載のLinuxのみです。Windowsへの対応は現在も進行中です。
• !事前ビルド済みパッケージはまだないため、インストール時にマシン上でコンパイルされます。
• !初回起動時に、約470 GiBのモデルファイルがダウンロードされます。
• !Linuxでは、CUDA Toolkit、liburingのヘッダー、およびcgroup v2を使用するsystemdも必要です。

収録されている特集

トピック

よくある質問

inferssd とは？

llama.cppをベースに、モデルの実行に必要なRAMやVRAMが足りないマシンでも、SSDからエキスパートの重みをストリーミングして大規模なMoE GGUFモデルを実行できます。 InferSSDは、実行マシンのRAMやVRAMに収まらない大規模なMixture-of-Experts（MoE）言語モデル向けの推論エンジンです。llama.cppをベースとしており、標準的なGGUFファイルを読み込み、モデル全体をメモリに保持する代わりに、必要に応じてSSDからエキスパートの重みをストリーミングします。

inferssd は無料で使えますか？ライセンスは？

inferssd は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

inferssd は今もメンテナンスされていますか？

活発にメンテナンス中。inferssd の最終コミットは 2026年11月7日 です。

inferssd は何に使えますか？

メモリが限られたノートPCやワークステーションで、大規模なMoEモデルを実行する。 OpenAI APIを想定したツール向けに、ローカルのOpenAI互換エンドポイントを提供する。 一般向けGPUやApple Silicon搭載マシンで、SSDを活用した推論を試す。

inferssd のインストール方法は？

READMEの公式インストールスクリプトを実行します（ソースからビルドするため、2〜12分かかります） ターミナルでモデルとチャットします: inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF または、Web UIとOpenAI互換APIを http://127.0.0.1:8080 で起動します: inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

inferssd はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/wici-ai/inferssd