bonsai-ada-surgery は無料で使えますか？ライセンスは？

bonsai-ada-surgery は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

bonsai-ada-surgery は今もメンテナンスされていますか？

活発にメンテナンス中。bonsai-ada-surgery の最終コミットは 2026年10月20日です。

bonsai-ada-surgery は何に使えますか？

12 GBの一般向けGPUで、長いコンテキストに対応したローカルLLMを実行する。 8 GBのRTX GPUで、コーディングやエージェントツール向けのローカルOpenAI互換エンドポイントを提供する。さまざまなコンテキスト長で、三値モデルのデコード速度とprefill速度をベンチマークする。

bonsai-ada-surgery のインストール方法は？

Releases から bundle の ZIP をダウンロードし、リポジトリ内に展開します GGUF モデルと MTP head ファイルを models フォルダーに配置しますサーバーを起動します。OpenAI 互換 API はポート 8080 で動作します: .\start-server.ps1

bonsai-ada-surgery はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/professorpalmer/bonsai-ada-surgery

professorpalmer/bonsai-ada-surgery

Q: bonsai-ada-surgery は今もメンテナンスされていますか？

活発にメンテナンス中。bonsai-ada-surgery の最終コミットは 2026年10月20日 です。

12 GBおよび8 GBのNVIDIA GPUで、262kコンテキストの1.58-bit Ternary Bonsai 2 27Bを実行するランチャーとパッチ適用済みllama.cpp環境。

GitHub で見る公式サイト

スター: 82
フォーク: 6
未解決の Issue: 4
最終コミット: 14 時間前

これは何？

Ternary Bonsai 2 27Bは、PTQ1_0形式で配布される約5.9 GBの1.58-bit三値モデルです。このプロジェクトでは、パッチ適用済みのPrismML llama.cppビルドと、GPUに合わせてK/Vキャッシュを設定するランチャーを使い、一般向けNVIDIA GPUで262,144トークンのコンテキストウィンドウをフルに利用できます。12 GBのGPUではq4_0、8 GBではq3_0を使用します。

このリポジトリでは、投機的デコード向けのMTPドラフティング、文法制約付きのツール呼び出し、OpenAI互換APIとサンドボックス化されたPython実行環境を備えたエージェント向けのオプションレイヤーを追加しています。モデルの重みは変更されていません。PowerShellの起動スクリプトを含むWindowsバンドルが用意されており、Linux環境とソースからのビルド手順は別途説明されています。

ドキュメントには、RTX 4070およびRTX 2060 SUPERでの、コンテキスト長ごとのデコード速度、prefillスループット、HumanEvalの結果を記録したベンチマークログが含まれています。

主な機能

0112 GBおよび8 GBのNVIDIA GPUで、262,144トークンのコンテキストウィンドウを利用できます。
02GPUに応じてK/Vキャッシュを自動設定し、q4_0またはq3_0を使用します。
03ポート8080でOpenAI互換APIを提供します。
04投機的デコード向けのMTPドラフティングを追加します。
05文法制約付きのツール呼び出しに対応します。
06PowerShellランチャーを含むWindowsバンドルを提供します。

ユースケース

12 GBの一般向けGPUで、長いコンテキストに対応したローカルLLMを実行する。
8 GBのRTX GPUで、コーディングやエージェントツール向けのローカルOpenAI互換エンドポイントを提供する。
さまざまなコンテキスト長で、三値モデルのデコード速度とprefill速度をベンチマークする。

クイックスタート

1
Releases から bundle の ZIP をダウンロードし、リポジトリ内に展開します
2
GGUF モデルと MTP head ファイルを models フォルダーに配置します
3
サーバーを起動します。OpenAI 互換 API はポート 8080 で動作します
.\start-server.ps1

使う前に知っておきたいこと

クイックスタートは NVIDIA GPU 搭載の Windows 向けです。Linux については docs/build にある別のガイドが必要です。
コンテキストウィンドウ全体を動作させるには、VRAM が 8 GB 以上の NVIDIA カードが必要です。
ライセンスは NOASSERTION と記載されているため、リポジトリのライセンス条件は不明確です。README には独自コードのライセンスとして MIT と記載されています。

トピック

#local-llm #quantization #llama-cpp #cuda #speculative-decoding #long-context #ternary #bonsai #qwen #rtx-4070

よくある質問

bonsai-ada-surgery とは？: 12 GBおよび8 GBのNVIDIA GPUで、262kコンテキストの1.58-bit Ternary Bonsai 2 27Bを実行するランチャーとパッチ適用済みllama.cpp環境。 Ternary Bonsai 2 27Bは、PTQ1_0形式で配布される約5.9 GBの1.58-bit三値モデルです。このプロジェクトでは、パッチ適用済みのPrismML llama.cppビルドと、GPUに合わせてK/Vキャッシュを設定するランチャーを使い、一般向けNVIDIA GPUで262,144トークンのコンテキストウィンドウをフルに利用できます。12 GBのGPUではq4_0、8 GBではq3_0を使用します。
bonsai-ada-surgery は無料で使えますか？ライセンスは？: bonsai-ada-surgery は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
bonsai-ada-surgery は今もメンテナンスされていますか？: 活発にメンテナンス中。bonsai-ada-surgery の最終コミットは 2026年10月20日です。
bonsai-ada-surgery は何に使えますか？: 12 GBの一般向けGPUで、長いコンテキストに対応したローカルLLMを実行する。 8 GBのRTX GPUで、コーディングやエージェントツール向けのローカルOpenAI互換エンドポイントを提供する。さまざまなコンテキスト長で、三値モデルのデコード速度とprefill速度をベンチマークする。
bonsai-ada-surgery のインストール方法は？: Releases から bundle の ZIP をダウンロードし、リポジトリ内に展開します GGUF モデルと MTP head ファイルを models フォルダーに配置しますサーバーを起動します。OpenAI 互換 API はポート 8080 で動作します: .\start-server.ps1
bonsai-ada-surgery はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/professorpalmer/bonsai-ada-surgery

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。