Repolode
Enviar
Edge0-AI

Edge0-AI/Edge0

Framework de código aberto que executa modelos grandes de MoE esparso em dispositivos de consumo, transmitindo pesos dos especialistas do SSD com previsão de roteamento treinada.

Ver no GitHub
Estrelas
9,113
Forks
1,405
Issues abertas
8
Último commit
há 21 horas

O que é?

edge0 é um framework de inferência por streaming para modelos de linguagem Mixture-of-Experts (MoE) esparsos. Em vez de manter na memória os pesos de todos os especialistas, ele os transmite do armazenamento sob demanda, limitando o pico de memória ao conjunto de especialistas ativos, e não ao total de parâmetros. O projeto oferece dois modelos lançados: um modelo 35B-A3B e um modelo 8B-A1B, ambos quantizados em 4 bits.

Para ocultar o custo de carregar especialistas do disco, uma cabeça prerouter treinada prevê o roteamento de especialistas da próxima etapa, sobrepondo os carregamentos à passagem forward. A perda causada pela quantização é reduzida com adaptadores Recover-LoRA treinados por destilação a partir do teacher em precisão total; os adaptadores permanecem sem merge para que uma única base somente leitura possa atender a vários conjuntos de adaptadores.

Atualmente, o framework Python funciona no macOS com Apple Silicon via MLX e disponibiliza um endpoint de chat completions compatível com OpenAI. O repositório inclui engines nativas para macOS, iOS, Android e Windows, e uma camada de acesso unificada está planejada para o Q4 de 2026.

Recursos principais

  • 01Transmite sob demanda os pesos dos especialistas do SSD, limitando a memória aos especialistas ativos.
  • 02O prerouter treinado prevê o roteamento de especialistas com uma etapa de antecedência para sobrepor os carregamentos ao processamento.
  • 03Os adaptadores Recover-LoRA recuperam a maior parte da perda causada pela quantização int4 e permanecem sem merge.
  • 04Servidor /v1/chat/completions compatível com OpenAI e CLI no macOS com Apple Silicon.
  • 05Diretórios de engines nativas para macOS, iOS, Android e Windows.

Casos de uso

  • Executar um modelo MoE da classe 35B em um Mac com memória unificada limitada.
  • Experimentar a inferência de LLM no dispositivo em iPhone, Android ou PCs com Windows.
  • Disponibilizar um endpoint de chat local compatível com OpenAI para ferramentas de desenvolvimento em Apple Silicon.
  • Estudar o offloading de especialistas e a previsão de roteamento para inferência com memória limitada.

Início rápido

  1. 1

    Crie um ambiente virtual e instale o pacote Python (macOS com Apple Silicon)

    python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'
  2. 2

    Baixe o modelo 8B (cerca de 4,2 GB) em models/edge0-8b

    .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b
  3. 3

    Execute a demo rápida com o modelo baixado

    edge0 demo models/edge0-8b

Antes de usar

  • O framework Python só funciona no macOS com Apple Silicon; o backend CUDA ainda não está disponível.
  • Os modelos lançados estão identificados como preview.
  • O checkpoint 35B ocupa cerca de 23 GB em disco.

Destaque no Repolode Weekly

Em coleções

Rode LLMs localmenteApps open source para Mac

Tópicos

#llm-inference#mixture-of-experts#model-quantization#on-device-ai#apple-silicon#mlx#lora#edge-computing

Perguntas frequentes

O que é Edge0?
Framework de código aberto que executa modelos grandes de MoE esparso em dispositivos de consumo, transmitindo pesos dos especialistas do SSD com previsão de roteamento treinada. edge0 é um framework de inferência por streaming para modelos de linguagem Mixture-of-Experts (MoE) esparsos. Em vez de manter na memória os pesos de todos os especialistas, ele os transmite do armazenamento sob demanda, limitando o pico de memória ao conjunto de especialistas ativos, e não ao total de parâmetros. O projeto oferece dois modelos lançados: um modelo 35B-A3B e um modelo 8B-A1B, ambos quantizados em 4 bits.
Edge0 é gratuito? Qual é a licença?
Edge0 é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Edge0 ainda é mantido?
Manutenção ativa. O último commit de Edge0 foi em 6 de nov. de 2026.
Para que posso usar Edge0?
Executar um modelo MoE da classe 35B em um Mac com memória unificada limitada. Experimentar a inferência de LLM no dispositivo em iPhone, Android ou PCs com Windows. Disponibilizar um endpoint de chat local compatível com OpenAI para ferramentas de desenvolvimento em Apple Silicon. Estudar o offloading de especialistas e a previsão de roteamento para inferência com memória limitada.
Como instalar Edge0?
Crie um ambiente virtual e instale o pacote Python (macOS com Apple Silicon): python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]' Baixe o modelo 8B (cerca de 4,2 GB) em models/edge0-8b: .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b Execute a demo rápida com o modelo baixado: edge0 demo models/edge0-8b
Onde consigo Edge0?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Edge0-AI/Edge0

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados