Repolode
投稿する
professorpalmer

professorpalmer/mirai-s-ada

12 GBのRTX 4070で、262kトークンのコンテキストウィンドウとq8_0 K/V cacheを使ってMirai S 27B（Qwen3.8-27B GGUF）をサービングする構成です。

GitHub で見る
スター
101
フォーク
10
未解決の Issue
0
最終コミット
15 時間前

これは何？

このリポジトリは、Qwen3.8-27BベースのモデルであるMirai S 27Bを、VRAM 12 GBの一般向けGPU 1枚で動かすローカルサービング構成です。重みを変更せずに変換したGGUFモデルを使い、Windows用ランチャーとLinux用の`start-server.sh`スクリプトを提供します。

q8_0 K/V cacheと階層型キャッシュ方式を使い、12 GBのGPUで262,144トークンのコンテキストウィンドウ全体を利用できるようにすることを目指しています。また、コンテキストの深さを問わずMTP draftingを有効にしています。複数のコンテキスト長におけるdecode速度の測定値に加え、HumanEvalとAppWorldの結果も公開しています。

エージェントワークフローでモデルを実行するためのオプションのagentsレイヤーも用意されています。また、ビルド手順、設定、既知の制限事項、保存済みのベンチマークデータをドキュメント化しています。

主な機能

  • 01q8_0 K/V cacheを使い、12 GBのRTX 4070で262,144トークンのコンテキストウィンドウを実行します。
  • 02あらゆるコンテキストの深さでMTP draftingを使用します。
  • 03Windows用ランチャーとLinux用起動スクリプトを提供します。
  • 04エージェントワークフロー向けのオプションのagentsレイヤーを含みます。
  • 05複数のコンテキスト長におけるdecode速度とベンチマーク結果を公開しています。

ユースケース

  • VRAM 12 GBの一般向けGPU 1枚で、長いコンテキストに対応した大規模なローカルLLMを実行する。
  • ローカルハードウェアで長文コンテキストを使うエージェントワークフローを試す。
  • 同等のハードウェアで、公開されている速度と品質の測定結果を再現する。

クイックスタート

  1. 1

    Windows と Linux 向けのセットアップガイドを読む

  2. 2

    Linux サーバースクリプトを実行する

    start-server.sh

使う前に知っておきたいこと

  • 12 GB の RTX 4070 専用です。README に記載された測定結果は、その他のハードウェアを対象としていません。
  • ライセンスが NOASSERTION となっているため、ライセンス条件が不明確です。使用前に確認が必要です。
  • サードパーティ製の GGUF 変換と、実験段階の上流モデルに依存しています。

トピック

#llm#gguf#local-inference#quantization#long-context#llama-cpp#gpu

よくある質問

mirai-s-ada とは？
12 GBのRTX 4070で、262kトークンのコンテキストウィンドウとq8_0 K/V cacheを使ってMirai S 27B（Qwen3.8-27B GGUF）をサービングする構成です。 このリポジトリは、Qwen3.8-27BベースのモデルであるMirai S 27Bを、VRAM 12 GBの一般向けGPU 1枚で動かすローカルサービング構成です。重みを変更せずに変換したGGUFモデルを使い、Windows用ランチャーとLinux用の`start-server.sh`スクリプトを提供します。
mirai-s-ada は無料で使えますか？ライセンスは？
mirai-s-ada は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
mirai-s-ada は今もメンテナンスされていますか？
活発にメンテナンス中。mirai-s-ada の最終コミットは 2026年10月20日 です。
mirai-s-ada は何に使えますか？
VRAM 12 GBの一般向けGPU 1枚で、長いコンテキストに対応した大規模なローカルLLMを実行する。 ローカルハードウェアで長文コンテキストを使うエージェントワークフローを試す。 同等のハードウェアで、公開されている速度と品質の測定結果を再現する。
mirai-s-ada のインストール方法は？
Windows と Linux 向けのセットアップガイドを読む Linux サーバースクリプトを実行する: start-server.sh
mirai-s-ada はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/professorpalmer/mirai-s-ada

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト