Repolode
投稿する
Edge0-AI

Edge0-AI/Edge0

学習済みルーティング予測を使い、SSDからエキスパートの重みをストリーミングして、一般向けデバイスで大規模なSparse MoEモデルを動かすオープンソースフレームワーク。

GitHub で見る
スター
9,127
フォーク
1,407
未解決の Issue
8
最終コミット
一昨日

これは何？

edge0は、Sparse Mixture-of-Experts（MoE）言語モデル向けのストリーミング推論フレームワークです。すべてのエキスパートの重みをメモリに保持するのではなく、必要に応じてストレージからストリーミングするため、ピークメモリ使用量は総パラメーター数ではなく、アクティブなエキスパートの集合によって決まります。公開済みのモデルは、35B-A3Bモデルと8B-A1Bモデルの2種類で、どちらも4-bit量子化されています。

ディスクからのエキスパート読み込みにかかる時間を隠すため、学習済みのprerouter headが次のステップのエキスパートルーティングを予測し、読み込みをforward passと並行して進めます。フル精度のteacherからの蒸留で学習したRecover-LoRAアダプターにより量子化による損失を軽減します。アダプターは結合せずに保持されるため、読み取り専用のベースモデルを複数のアダプターセットで共有できます。

Pythonフレームワークは現在、MLXを使ってApple Silicon搭載のmacOSで動作し、OpenAI互換のChat Completionsエンドポイントを提供します。macOS、iOS、Android、Windows向けのネイティブエンジンもリポジトリに含まれており、統一アクセスレイヤーは2026年第4四半期に提供予定です。

主な機能

  • 01SSDから必要に応じてエキスパートの重みをストリーミングし、メモリ使用量をアクティブなエキスパートの分に抑えます。
  • 02学習済みprerouterが1ステップ先のエキスパートルーティングを予測し、読み込みと計算を並行して進めます。
  • 03Recover-LoRAアダプターがint4量子化による損失の大部分を補い、ベースモデルに結合せずに利用できます。
  • 04Apple Silicon搭載macOS向けに、OpenAI互換の/v1/chat/completionsサーバーとCLIを提供します。
  • 05macOS、iOS、Android、Windows向けのネイティブエンジンのディレクトリを収録しています。

ユースケース

  • ユニファイドメモリが限られたMacで、35BクラスのMoEモデルを動かす。
  • iPhone、Android、Windows PCで、オンデバイスLLM推論を試す。
  • Apple Silicon上の開発ツール向けに、ローカルのOpenAI互換チャットエンドポイントを提供する。
  • メモリ制約のある推論におけるエキスパートのオフロードとルーティング予測を研究する。

クイックスタート

  1. 1

    仮想環境を作成し、Pythonパッケージをインストールします（Apple Silicon搭載のmacOS）

    python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'
  2. 2

    8Bモデル（約4.2 GB）をmodels/edge0-8bにダウンロードします

    .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b
  3. 3

    ダウンロードしたモデルでクイックデモを実行します

    edge0 demo models/edge0-8b

使う前に知っておきたいこと

  • PythonフレームワークはApple Silicon搭載のmacOSでのみ動作します。CUDAバックエンドはまだ利用できません。
  • リリースされたモデルにはpreviewのラベルが付いています。
  • 35Bチェックポイントのディスク上のサイズは約23 GBです。

Repolode 週刊で紹介

収録されている特集

LLM をローカルで動かすオープンソースの Mac アプリ

トピック

#llm-inference#mixture-of-experts#model-quantization#on-device-ai#apple-silicon#mlx#lora#edge-computing

よくある質問

Edge0 とは？
学習済みルーティング予測を使い、SSDからエキスパートの重みをストリーミングして、一般向けデバイスで大規模なSparse MoEモデルを動かすオープンソースフレームワーク。 edge0は、Sparse Mixture-of-Experts（MoE）言語モデル向けのストリーミング推論フレームワークです。すべてのエキスパートの重みをメモリに保持するのではなく、必要に応じてストレージからストリーミングするため、ピークメモリ使用量は総パラメーター数ではなく、アクティブなエキスパートの集合によって決まります。公開済みのモデルは、35B-A3Bモデルと8B-A1Bモデルの2種類で、どちらも4-bit量子化されています。
Edge0 は無料で使えますか？ライセンスは？
Edge0 は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Edge0 は今もメンテナンスされていますか？
活発にメンテナンス中。Edge0 の最終コミットは 2026年11月6日 です。
Edge0 は何に使えますか？
ユニファイドメモリが限られたMacで、35BクラスのMoEモデルを動かす。 iPhone、Android、Windows PCで、オンデバイスLLM推論を試す。 Apple Silicon上の開発ツール向けに、ローカルのOpenAI互換チャットエンドポイントを提供する。 メモリ制約のある推論におけるエキスパートのオフロードとルーティング予測を研究する。
Edge0 のインストール方法は？
仮想環境を作成し、Pythonパッケージをインストールします（Apple Silicon搭載のmacOS）: python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]' 8Bモデル（約4.2 GB）をmodels/edge0-8bにダウンロードします: .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b ダウンロードしたモデルでクイックデモを実行します: edge0 demo models/edge0-8b
Edge0 はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Edge0-AI/Edge0

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト