Repolode
投稿する
Luce-Org

Luce-Org/lucebox

推測デコード、推測プリフィル、カスタムカーネルを活用し、コンシューマー向けGPUやAMD/NVIDIA混在環境で動作するC++製LLM推論サーバー。

GitHub で見る公式サイト
スター
2,954
フォーク
286
未解決の Issue
111
最終コミット
14 時間前

これは何？

Luceboxは、コンシューマー向けハードウェアで大規模なローカルモデルを高速化することを目指す、C++製のLLM推論サーバーです。推測デコード（小型のドラフトモデルがトークン候補を出し、ターゲットモデルが検証する方式）、長いプロンプトを圧縮する推測プリフィル、モデルとGPUごとに調整したカーネルを組み合わせています。ローカルポートでOpenAI互換APIを公開するほか、Anthropic MessagesおよびResponsesエンドポイントも提供します。

NVIDIAカードにはCUDA、AMDカードにはHIP/ROCm経由で対応します。また、Radeon R9700とStrix Halo APUの組み合わせのような異種デバイス間で処理を分割したり、エキスパートをSSDに配置したりできます。対応モデルにはQwen 3.x、Gemma 4、Laguna XS 2.1、DeepSeek V4の各種モデルがあり、それぞれGGUFウェイトとドラフトモデルが公開されています。CUDA 12以降およびROCm 6以降向けのDockerイメージも用意されています。

リポジトリには、Claude Code、Codex、OpenCode、Open WebUIなどのコーディングツール向けクライアントハーネスの起動スクリプトに加え、画像生成（MOSS-Image）と画像入力のサポートも含まれています。ベンチマークはハードウェア構成ごとに報告されており、構成が異なる結果を直接比較することはできません。

主な機能

  • 01ドラフトモデルを使った推測デコードにより、トークン生成を高速化。
  • 02メインモデルの実行前に長いプロンプトを圧縮する推測プリフィル。
  • 03OpenAI互換API、Anthropic Messages、Responsesの各エンドポイント。
  • 04混在デバイスへの配置を含め、CUDA（NVIDIA）とHIP/ROCm（AMD）バックエンドに対応。
  • 05複数のリクエストを同時に処理するPaged AttentionとContinuous Batching。
  • 06特定のハードウェア構成向けのビルド済みDockerイメージと起動プロファイル。

ユースケース

  • コンシューマー向けGPU 1基またはAMD APUで、大規模なオープンウェイトモデルをローカル実行する。
  • コーディングエージェントやチャットクライアント向けに、ローカルのOpenAI互換エンドポイントを提供する。
  • VRAMに限りがある自宅のワークステーションで、長いコンテキストのプロンプトを処理する。
  • NVIDIAまたはAMDのハードウェアで推測デコードを試す。

使う前に知っておきたいこと

  • 表示されているREADMEにはインストールや実行のコマンドが記載されていないため、このページからはセットアップ手順がわかりません。
  • ベンチマークとプロファイルはR9700、Strix Halo、RTX 3090など特定のハードウェアを対象としており、バッジにはCUDA 12+またはHIP 7+が必要と記載されています。

収録されている特集

LLM をローカルで動かすGPU で AI を学習・実行するツール

トピック

#llm-inference#speculative-decoding#cuda#rocm#local-ai#gpu#c-plus-plus#cuda-kernels#dflash#heterogeneous-computing

よくある質問

lucebox とは？
推測デコード、推測プリフィル、カスタムカーネルを活用し、コンシューマー向けGPUやAMD/NVIDIA混在環境で動作するC++製LLM推論サーバー。 Luceboxは、コンシューマー向けハードウェアで大規模なローカルモデルを高速化することを目指す、C++製のLLM推論サーバーです。推測デコード（小型のドラフトモデルがトークン候補を出し、ターゲットモデルが検証する方式）、長いプロンプトを圧縮する推測プリフィル、モデルとGPUごとに調整したカーネルを組み合わせています。ローカルポートでOpenAI互換APIを公開するほか、Anthropic MessagesおよびResponsesエンドポイントも提供します。
lucebox は無料で使えますか？ライセンスは？
lucebox は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
lucebox は今もメンテナンスされていますか？
活発にメンテナンス中。lucebox の最終コミットは 2026年10月24日 です。
lucebox は何に使えますか？
コンシューマー向けGPU 1基またはAMD APUで、大規模なオープンウェイトモデルをローカル実行する。 コーディングエージェントやチャットクライアント向けに、ローカルのOpenAI互換エンドポイントを提供する。 VRAMに限りがある自宅のワークステーションで、長いコンテキストのプロンプトを処理する。 NVIDIAまたはAMDのハードウェアで推測デコードを試す。
lucebox はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Luce-Org/lucebox

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト