Repolode
投稿する
Niko1221

Niko1221/Strata

WindowsやLinuxで、一般向けNVIDIA・AMD GPU上に大規模なQwen3.8-Flash-Nextモデルを実行するローカル推論エンジン。OpenAI・Anthropic互換APIに対応。

GitHub で見る
スター
28,433
フォーク
3,010
未解決の Issue
1,362
最終コミット
24 時間前

これは何？

Strataは、通常はデータセンター向けのハードウェアで動かす非常に大規模なモデル、Qwen3.8-Flash-Nextを一般的なゲーミングPCで実行するローカル推論エンジンです。VRAMが12 GB以上のNVIDIAまたはAMD製グラフィックスカード、32 GB以上のRAM、Windows 10/11またはLinuxが必要です。インストーラーがハードウェアを検出し、利用可能なメモリに収まるモデルサイズを推奨して、モデルをダウンロードし、ローカルサーバーを起動します。

モデルは多数のエキスパートに分割されています。Strataは、頻繁に使うエキスパートをGPUに配置し、すべてのエキスパートをシステムRAMに保持し、残りはSSDのルックアップテーブルから読み込むことで、一般向けPCのメモリにモデルを収めます。また、小さな補助モデルで複数のトークン候補を生成し、それらを大きなモデルで一度に検証します。サーバーはOpenAI互換エンドポイント、Anthropic Messagesエンドポイント、OpenAI Responsesエンドポイントを公開するほか、localhost上でブラウザチャットとモニタリングUIを提供します。

複数のモデルサイズと量子化が用意されています。Apple Silicon搭載Mac、Intel Arc、一部の旧型GPUは実験的な対応として記載されており、ソースからのビルドが必要です。

主な機能

  • 01125BパラメーターのQwen3.8-Flash-Nextモデルを、一般向けのNVIDIAまたはAMD製GPU 1基で実行します。
  • 02localhost上でOpenAI互換、Anthropic Messages、OpenAI Responsesの各エンドポイントを公開します。
  • 03Windowsではスクリプトをダブルクリック、Linuxではセットアップスクリプトを実行してインストールできます。
  • 04複数のモデルサイズが用意されており、RAMに合わせて量子化を選べます。
  • 05ブラウザチャットUIと、GPU・CPU・RAMの使用状況をリアルタイムで表示するモニターを搭載しています。
  • 06オプションの画像入力とマルチGPU構成に対応しています。

ユースケース

  • コードをクラウドに送信せず、Claude CodeやCodex CLIなどのコーディングアシスタント向けに高性能なローカルモデルを実行する。
  • 大規模モデルを使いながら、プライベートな文書やチャット履歴を自分のマシン内に保管する。
  • 既存のOpenAI互換アプリの接続先をローカルエンドポイントに設定し、オフラインまたはプライベートな環境で利用する。
  • 手元の一般向けGPUで大規模なMoEモデルの性能をベンチマークする。

クイックスタート

  1. 1

    リリースページから、お使いのシステム用のStrataアプリをダウンロードします

  2. 2

    LinuxまたはMacにTerminalをインストールします

    README の公式手順に従ってインストール
  3. 3

    Windows（PowerShell）にTerminalをインストールします

    README の公式手順に従ってインストール
  4. 4

    ガイド付きセットアップでStrataを起動します

    strata launch

使う前に知っておきたいこと

  • RAMとグラフィックスメモリを合わせて32 GB以上、ディスクの空き容量が約80 GB必要です。
  • モデルのダウンロードサイズは大きく、約40～70 GBです。
  • プレリリース版のベータ（バージョン0.2.0-beta）のため、まだ不安定な部分があります。
  • 一部のAMDカードでは、すぐに使えるアプリがまだありません。また、Intel ArcとMacでは一部モデルのサポートが限定されています。

トピック

#llm#local-inference#gpu#quantization#openai-compatible#moe#llama-cpp#self-hosted

よくある質問

Strata とは？
WindowsやLinuxで、一般向けNVIDIA・AMD GPU上に大規模なQwen3.8-Flash-Nextモデルを実行するローカル推論エンジン。OpenAI・Anthropic互換APIに対応。 Strataは、通常はデータセンター向けのハードウェアで動かす非常に大規模なモデル、Qwen3.8-Flash-Nextを一般的なゲーミングPCで実行するローカル推論エンジンです。VRAMが12 GB以上のNVIDIAまたはAMD製グラフィックスカード、32 GB以上のRAM、Windows 10/11またはLinuxが必要です。インストーラーがハードウェアを検出し、利用可能なメモリに収まるモデルサイズを推奨して、モデルをダウンロードし、ローカルサーバーを起動します。
Strata は無料で使えますか？ライセンスは？
Strata は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Strata は今もメンテナンスされていますか？
活発にメンテナンス中。Strata の最終コミットは 2026年10月19日 です。
Strata は何に使えますか？
コードをクラウドに送信せず、Claude CodeやCodex CLIなどのコーディングアシスタント向けに高性能なローカルモデルを実行する。 大規模モデルを使いながら、プライベートな文書やチャット履歴を自分のマシン内に保管する。 既存のOpenAI互換アプリの接続先をローカルエンドポイントに設定し、オフラインまたはプライベートな環境で利用する。 手元の一般向けGPUで大規模なMoEモデルの性能をベンチマークする。
Strata のインストール方法は？
リリースページから、お使いのシステム用のStrataアプリをダウンロードします LinuxまたはMacにTerminalをインストールします Windows（PowerShell）にTerminalをインストールします ガイド付きセットアップでStrataを起動します: strata launch
Strata はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Niko1221/Strata

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト