Repolode
投稿する
FlashML-org

FlashML-org/FreeToken

GPUとCPUメモリに処理を分散し、DeepSeek-V4やQwen3.6などの大規模オープンウェイトモデルをコンシューマー向けGPUで動かす、エッジネイティブなMoEサービングエンジン。

代替できる製品:LM Studio

GitHub で見る公式サイト
スター
14,575
フォーク
1,468
未解決の Issue
436
最終コミット
16 時間前

これは何？

FreeTokenは、ゲーミングPCやノートPCなどの個人向けハードウェアで、最先端規模のMixture-of-Expertsモデルを動かすためのサービングエンジンです。帯域幅に応じたCPU-GPU協調実行、ストリーミングプリフィル、エキスパート向けのグローバルLRUキャッシュを活用し、GPU、CPU、ホストメモリ、インターコネクトを1つの推論プールとして連携させます。

DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2などのモデルを対象としており、MXFP4、NVFP4、FP8、BF16量子化をサポートしています。AnthropicおよびOpenAI互換のAPIを提供するため、Codex、Claude Code、OpenCodeなどのコーディングエージェントやツール呼び出しエージェントからローカルモデルに接続できます。

FreeTokenは、recurrent stateとKV cache向けのセマンティックアンカーチェックポイントも備えています。これにより、エージェントのコンテキストを編集しても過去のコンテキストを再計算せずに済み、実行中にエキスパートキャッシュとKVメモリの間でVRAMを再配分できます。WindowsおよびLinux向けのデスクトップアプリと、pipでインストールできるCLIを提供しており、NVIDIA RTX 30、40、50シリーズGPUをネイティブにサポートします。

主な機能

  • 01CPU-GPU協調実行とエキスパートキャッシュにより、大規模なMoEモデルをコンシューマー向けGPUで実行できます。
  • 02MXFP4、NVFP4、FP8、BF16などの量子化形式をサポートしています。
  • 03コーディングエージェントやツール呼び出しエージェント向けに、AnthropicおよびOpenAI互換のAPIを提供します。
  • 04エンジンを再起動せずに、エキスパートキャッシュとKVメモリの間でVRAMを再配分できます。
  • 05WindowsおよびLinux向けのデスクトップGUIと、pipでインストールできるCLIを提供します。

ユースケース

  • ゲーミングPCやワークステーションのGPUで、最先端のオープンウェイトMoEモデルをローカル実行する。
  • Claude CodeやCodexなどのコーディングエージェントをローカルモデルに接続する。
  • クラウド推論の費用をかけず、データをマシンの外に出さずに大規模モデルを試す。

トピック

#moe#llm-inference#edge-ai#local-llm#quantization#gpu#openai-compatible#deepseek-v4#edge#glm

よくある質問

FreeToken とは？
GPUとCPUメモリに処理を分散し、DeepSeek-V4やQwen3.6などの大規模オープンウェイトモデルをコンシューマー向けGPUで動かす、エッジネイティブなMoEサービングエンジン。 FreeTokenは、ゲーミングPCやノートPCなどの個人向けハードウェアで、最先端規模のMixture-of-Expertsモデルを動かすためのサービングエンジンです。帯域幅に応じたCPU-GPU協調実行、ストリーミングプリフィル、エキスパート向けのグローバルLRUキャッシュを活用し、GPU、CPU、ホストメモリ、インターコネクトを1つの推論プールとして連携させます。
FreeToken は無料で使えますか？ライセンスは？
FreeToken は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
FreeToken は今もメンテナンスされていますか？
活発にメンテナンス中。FreeToken の最終コミットは 2026年10月18日 です。
FreeToken は何に使えますか？
ゲーミングPCやワークステーションのGPUで、最先端のオープンウェイトMoEモデルをローカル実行する。 Claude CodeやCodexなどのコーディングエージェントをローカルモデルに接続する。 クラウド推論の費用をかけず、データをマシンの外に出さずに大規模モデルを試す。
FreeToken はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/FlashML-org/FreeToken

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト