Edge0-AI/Edge0

Что это?

Ключевые возможности

• 01По запросу подгружает веса экспертов с SSD, ограничивая потребление памяти активными экспертами.
• 02Обученный prerouter на шаг вперёд предсказывает маршрутизацию экспертов, чтобы загрузка шла одновременно с вычислениями.
• 03Адаптеры Recover-LoRA компенсируют большую часть потерь от квантования int4 и не сливаются с базовой моделью.
• 04Сервер OpenAI-совместимого API /v1/chat/completions и CLI для macOS с Apple Silicon.
• 05Каталоги с нативными движками для macOS, iOS, Android и Windows.

Сценарии использования

• Запуск MoE-модели класса 35B на Mac с ограниченным объёмом унифицированной памяти.
• Эксперименты с инференсом LLM непосредственно на iPhone, устройствах Android или ПК с Windows.
• Локальный запуск совместимого с OpenAI chat endpoint для инструментов разработки на Apple Silicon.
• Изучение выгрузки экспертов и предсказания маршрутизации для инференса при ограниченной памяти.

Быстрый старт

1. 1

   Создайте виртуальное окружение и установите пакет Python (macOS на Apple Silicon)

   python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'
2. 2

   Скачайте модель 8B (около 4,2 ГБ) в models/edge0-8b

   .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b
3. 3

   Запустите быструю демонстрацию на скачанной модели

   edge0 demo models/edge0-8b

Что важно знать

• !Фреймворк Python работает только в macOS на Apple Silicon; бэкенд CUDA пока недоступен.
• !Выпущенные модели помечены как preview.
• !Контрольная точка 35B занимает на диске около 23 ГБ.

В выпуске Repolode Weekly

• Выпуск 3 · Большие MoE-модели с SSD и пересборка Rust за миллисекунды

  Подгружает веса экспертов разреженной MoE с SSD по запросу, так что память ограничена активными экспертами. Обученный пре-роутер предсказывает маршрутизацию на шаг вперёд, чтобы загрузка шла параллельно с вычислениями.

В подборках

Темы

Частые вопросы

Что такое Edge0?

Фреймворк с открытым исходным кодом для запуска больших разреженных MoE-моделей на потребительских устройствах: он подгружает веса экспертов с SSD и заранее предсказывает маршрутизацию. edge0 — это фреймворк потокового инференса для языковых моделей с разреженной архитектурой Mixture-of-Experts (MoE). Вместо того чтобы хранить веса всех экспертов в памяти, он подгружает их из хранилища по мере необходимости. Поэтому пиковое потребление памяти зависит от набора активных экспертов, а не от общего числа параметров. В проекте доступны две модели: 35B-A3B и 8B-A1B, обе квантованы до 4 бит.

Edge0 можно использовать бесплатно? Какая у него лицензия?

Edge0 распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

Edge0 всё ещё поддерживается?

Активно поддерживается. Последний коммит в Edge0 — 6 нояб. 2026 г..

Для чего можно использовать Edge0?

Запуск MoE-модели класса 35B на Mac с ограниченным объёмом унифицированной памяти. Эксперименты с инференсом LLM непосредственно на iPhone, устройствах Android или ПК с Windows. Локальный запуск совместимого с OpenAI chat endpoint для инструментов разработки на Apple Silicon. Изучение выгрузки экспертов и предсказания маршрутизации для инференса при ограниченной памяти.

Как установить Edge0?

Создайте виртуальное окружение и установите пакет Python (macOS на Apple Silicon): python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]' Скачайте модель 8B (около 4,2 ГБ) в models/edge0-8b: .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b Запустите быструю демонстрацию на скачанной модели: edge0 demo models/edge0-8b

Где скачать Edge0?

Исходный код и инструкции по установке — на GitHub: https://github.com/Edge0-AI/Edge0