Repolode
Enviar
Edge0-AI

Edge0-AI/Edge0

Framework de código abierto que ejecuta modelos MoE dispersos de gran tamaño en dispositivos de consumo al cargar pesos de expertos desde un SSD y predecir el enrutamiento.

Ver en GitHub
Estrellas
9,113
Forks
1,405
Issues abiertos
8
Último commit
ayer

¿Qué es?

edge0 es un framework de inferencia por streaming para modelos de lenguaje Mixture-of-Experts (MoE) dispersos. En lugar de mantener en memoria los pesos de todos los expertos, los carga desde el almacenamiento cuando se necesitan, de modo que el uso máximo de memoria depende del conjunto de expertos activos y no del número total de parámetros. El proyecto ofrece dos modelos publicados: uno de 35B-A3B y otro de 8B-A1B, ambos cuantizados a 4 bits.

Para ocultar el costo de cargar los expertos desde el disco, una cabeza prerouter entrenada predice el enrutamiento de expertos del siguiente paso, de modo que las cargas se solapan con la pasada forward. Recover-LoRA reduce la pérdida por cuantización mediante adaptadores entrenados por destilación a partir del modelo docente de precisión completa; los adaptadores no se fusionan, por lo que una base de solo lectura puede servir a varios conjuntos de adaptadores.

El framework de Python se ejecuta actualmente en macOS con Apple Silicon mediante MLX y ofrece un endpoint de chat completions compatible con OpenAI. El repositorio incluye motores nativos para macOS, iOS, Android y Windows, y se prevé una capa de acceso unificada para el cuarto trimestre de 2026.

Funciones clave

  • 01Carga los pesos de los expertos desde un SSD cuando se necesitan, limitando el uso de memoria a los expertos activos.
  • 02Un prerouter entrenado predice con un paso de antelación el enrutamiento de expertos para solapar las cargas con el cómputo.
  • 03Los adaptadores Recover-LoRA recuperan la mayor parte de la pérdida por cuantización int4 y no se fusionan.
  • 04Servidor /v1/chat/completions compatible con OpenAI y CLI para macOS con Apple Silicon.
  • 05Directorios de motores nativos para macOS, iOS, Android y Windows.

Casos de uso

  • Ejecutar un modelo MoE de la clase 35B en un Mac con memoria unificada limitada.
  • Experimentar con inferencia de LLM en el dispositivo en iPhone, Android o PC con Windows.
  • Ofrecer un endpoint de chat local compatible con OpenAI para herramientas de desarrollo en Apple Silicon.
  • Estudiar la descarga de expertos y la predicción de enrutamiento para la inferencia con memoria limitada.

Inicio rápido

  1. 1

    Crea un entorno virtual e instala el paquete de Python (macOS con Apple Silicon)

    python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'
  2. 2

    Descarga el modelo 8B (unos 4,2 GB) en models/edge0-8b

    .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b
  3. 3

    Ejecuta la demo rápida con el modelo descargado

    edge0 demo models/edge0-8b

Antes de usarlo

  • El framework de Python solo funciona en macOS con Apple Silicon; el backend CUDA aún no está disponible.
  • Los modelos publicados llevan la etiqueta preview.
  • El checkpoint 35B ocupa unos 23 GB en disco.

Destacado en Repolode Weekly

En colecciones

Ejecuta LLM en localApps open source para Mac

Temas

#llm-inference#mixture-of-experts#model-quantization#on-device-ai#apple-silicon#mlx#lora#edge-computing

Preguntas frecuentes

¿Qué es Edge0?
Framework de código abierto que ejecuta modelos MoE dispersos de gran tamaño en dispositivos de consumo al cargar pesos de expertos desde un SSD y predecir el enrutamiento. edge0 es un framework de inferencia por streaming para modelos de lenguaje Mixture-of-Experts (MoE) dispersos. En lugar de mantener en memoria los pesos de todos los expertos, los carga desde el almacenamiento cuando se necesitan, de modo que el uso máximo de memoria depende del conjunto de expertos activos y no del número total de parámetros. El proyecto ofrece dos modelos publicados: uno de 35B-A3B y otro de 8B-A1B, ambos cuantizados a 4 bits.
¿Edge0 es gratuito? ¿Qué licencia tiene?
Edge0 es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Edge0 sigue mantenido?
Mantenimiento activo. El último commit de Edge0 fue el 6 nov 2026.
¿Para qué puedo usar Edge0?
Ejecutar un modelo MoE de la clase 35B en un Mac con memoria unificada limitada. Experimentar con inferencia de LLM en el dispositivo en iPhone, Android o PC con Windows. Ofrecer un endpoint de chat local compatible con OpenAI para herramientas de desarrollo en Apple Silicon. Estudiar la descarga de expertos y la predicción de enrutamiento para la inferencia con memoria limitada.
¿Cómo se instala Edge0?
Crea un entorno virtual e instala el paquete de Python (macOS con Apple Silicon): python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]' Descarga el modelo 8B (unos 4,2 GB) en models/edge0-8b: .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b Ejecuta la demo rápida con el modelo descargado: edge0 demo models/edge0-8b
¿Dónde consigo Edge0?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Edge0-AI/Edge0

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados