Repolode
投稿する
simplexai-labs

simplexai-labs/PolyStrata

Qwen3.6、GLM 5.3 Flash、Gemma 4などの大規模なオープンウェイトLLMを、自分のNVIDIAまたはAMD搭載PCで動かし、localhostにOpenAI・Anthropic互換APIを公開します。

GitHub で見る
スター
891
フォーク
126
未解決の Issue
15
最終コミット
一昨日

これは何？

PolyStrataは、一般向けハードウェアで大規模なGGUF言語モデルをローカル推論するためのセットアップです。2種類のエンジンで12モデルを実行します。Strataエンジンでは、VRAMが12 GB以上のNVIDIAまたはAMD製GPUでQwen3.8-Flash-Nextを動かし、PolyStrata専用エンジンでは、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Gemma 4、MiniCPM-Vなど、ほかの11モデルを実行します。モデルファイルは大容量で、重みの大部分はシステムRAMに置き、GPUには頻繁に使う部分を保持します。

Windows用（START-HERE.bat）とLinux用（setup.sh）のワンクリックインストーラーに加え、Apple Silicon上でQwen3.8-Flash-Nextを動かすMac向けビルドも提供します。インストーラーはGPUとRAMを検出して、推奨するモデルサイズとコンテキスト長を提示し、モデルをダウンロードして127.0.0.1:8080でローカルサーバーを起動します。サーバーはOpenAI互換の/v1エンドポイントとAnthropic形式の/v1/messagesエンドポイントを公開し、ブラウザチャットとリアルタイムモニターも備えています。

ドキュメントには、モデルとハードウェアごとのベンチマーク値（回答生成とプロンプト読み込みのtokens per secondなど）が掲載されており、PolyStrataエンジンのモデルは実験的であることも明記されています。

主な機能

  • 01GLM 5.3 Flash、DeepSeek V4 Flash、Qwen3.6など、12種類の大規模オープンウェイトモデルをローカル環境で実行します。
  • 02GPUとRAMに合わせたモデルサイズを選ぶ、Windows・Linux向けワンクリックインストーラーを提供します。
  • 03アプリやコーディングエージェント向けに、localhostでOpenAI互換・Anthropic形式のAPIを公開します。
  • 04ブラウザチャットUIと、GPU・CPU・RAMの使用状況をリアルタイムで確認できるモニターを備えています。
  • 05複数GPU構成に対応し、複数のモデルではオプションで画像入力も利用できます。

ユースケース

  • Claude Codeのような高性能コーディングアシスタントを、自分のマシンから外に出ないモデルに接続して使う。
  • クラウドAPIを利用できない環境で、大規模モデルとプライベートにチャットする。
  • 十分なシステムRAMを備えたゲーミングクラスの単体GPUで、大規模MoEモデルを試す。
  • 既存のOpenAI・Anthropic対応アプリの接続先をローカルエンドポイントに切り替え、コードを変更せずに使う。

クイックスタート

  1. 1

    GitHubからPolyStrataをZIPとしてダウンロードするか、cloneします

  2. 2

    Windowsでは、PolyStrataフォルダー内のSTART-HERE.batをダブルクリックします

  3. 3

    Linuxでは、PolyStrataフォルダー内のセットアップスクリプトを実行します

    ./setup.sh
  4. 4

    モデルのダウンロードと起動が完了するまで待ち、http://127.0.0.1:8080 を開きます

使う前に知っておきたいこと

  • ほとんどのモデルを使うには、VRAMが8～12 GB以上のNVIDIAまたはAMD製グラフィックカードが必要です。
  • 12モデルのうち11モデルは実験的なエンジンで動作します。また、GLM 5.3 FlashとDeepSeek V4 Flashには、32 GBのグラフィックカードとLinuxが必要です。
  • モデルのダウンロードサイズは11 GBから114 GBと大きく、初回起動時にPCが1～3分間フリーズすることがあります。

収録されている特集

セルフホスト型アプリLLM をローカルで動かす

トピック

#local-llm#inference-engine#llm#gguf#openai-api#anthropic-api#cuda#self-hosted#gemma#glm

よくある質問

PolyStrata とは？
Qwen3.6、GLM 5.3 Flash、Gemma 4などの大規模なオープンウェイトLLMを、自分のNVIDIAまたはAMD搭載PCで動かし、localhostにOpenAI・Anthropic互換APIを公開します。 PolyStrataは、一般向けハードウェアで大規模なGGUF言語モデルをローカル推論するためのセットアップです。2種類のエンジンで12モデルを実行します。Strataエンジンでは、VRAMが12 GB以上のNVIDIAまたはAMD製GPUでQwen3.8-Flash-Nextを動かし、PolyStrata専用エンジンでは、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Gemma 4、MiniCPM-Vなど、ほかの11モデルを実行します。モデルファイルは大容量で、重みの大部分はシステムRAMに置き、GPUには頻繁に使う部分を保持します。
PolyStrata は無料で使えますか？ライセンスは？
PolyStrata は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
PolyStrata は今もメンテナンスされていますか？
活発にメンテナンス中。PolyStrata の最終コミットは 2026年11月5日 です。
PolyStrata は何に使えますか？
Claude Codeのような高性能コーディングアシスタントを、自分のマシンから外に出ないモデルに接続して使う。 クラウドAPIを利用できない環境で、大規模モデルとプライベートにチャットする。 十分なシステムRAMを備えたゲーミングクラスの単体GPUで、大規模MoEモデルを試す。 既存のOpenAI・Anthropic対応アプリの接続先をローカルエンドポイントに切り替え、コードを変更せずに使う。
PolyStrata のインストール方法は？
GitHubからPolyStrataをZIPとしてダウンロードするか、cloneします Windowsでは、PolyStrataフォルダー内のSTART-HERE.batをダブルクリックします Linuxでは、PolyStrataフォルダー内のセットアップスクリプトを実行します: ./setup.sh モデルのダウンロードと起動が完了するまで待ち、http://127.0.0.1:8080 を開きます
PolyStrata はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/simplexai-labs/PolyStrata

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト