Repolode
제출하기
Edge0-AI

Edge0-AI/Edge0

학습된 라우팅 예측을 활용해 SSD에서 전문가 가중치를 스트리밍함으로써 소비자용 기기에서 대규모 희소 MoE 모델을 실행하는 오픈소스 프레임워크입니다.

GitHub에서 보기
스타
9,088
포크
1,403
열린 이슈
8
마지막 커밋
그저께

어떤 프로젝트인가요?

edge0는 희소 Mixture-of-Experts(MoE) 언어 모델을 위한 스트리밍 추론 프레임워크입니다. 모든 전문가 가중치를 메모리에 올리는 대신 필요할 때 저장소에서 가중치를 스트리밍하므로, 최대 메모리 사용량은 전체 파라미터 수가 아니라 활성 전문가 집합의 크기에 따라 제한됩니다. 이 프로젝트는 4비트 양자화된 두 가지 모델 버전인 35B-A3B 모델과 8B-A1B 모델을 공개했습니다.

디스크에서 전문가를 불러오는 데 드는 비용을 줄이기 위해 학습된 prerouter 헤드가 다음 단계의 전문가 라우팅을 예측하여, 모델의 forward pass와 로딩이 겹쳐 진행됩니다. 양자화 손실은 full-precision teacher를 사용한 distillation으로 학습한 Recover-LoRA 어댑터로 줄입니다. 어댑터는 병합되지 않은 상태로 유지되므로, 하나의 읽기 전용 베이스 모델을 여러 어댑터 세트에서 사용할 수 있습니다.

현재 Python 프레임워크는 MLX를 통해 Apple Silicon이 탑재된 macOS에서 실행되며, OpenAI 호환 chat completions 엔드포인트를 제공합니다. macOS, iOS, Android, Windows용 네이티브 엔진도 저장소에 포함되어 있으며, 통합 액세스 레이어는 2026년 4분기 출시를 계획하고 있습니다.

핵심 기능

  • 01필요할 때 SSD에서 전문가 가중치를 스트리밍해 메모리 사용량을 활성 전문가로 제한합니다.
  • 02학습된 prerouter가 한 단계 앞서 전문가 라우팅을 예측해 로딩과 연산을 병행합니다.
  • 03Recover-LoRA 어댑터로 int4 양자화 손실 대부분을 복구하며, 어댑터는 병합하지 않은 상태로 유지합니다.
  • 04Apple Silicon이 탑재된 macOS에서 OpenAI 호환 /v1/chat/completions 서버와 CLI를 제공합니다.
  • 05macOS, iOS, Android, Windows용 네이티브 엔진 디렉터리를 포함합니다.

활용 사례

  • 통합 메모리가 제한된 Mac에서 35B급 MoE 모델을 실행합니다.
  • iPhone, Android 또는 Windows PC에서 온디바이스 LLM 추론을 실험합니다.
  • Apple Silicon에서 개발 도구용 로컬 OpenAI 호환 채팅 엔드포인트를 제공합니다.
  • 메모리가 제한된 추론 환경을 위한 전문가 오프로딩과 라우팅 예측을 연구합니다.

빠른 시작

  1. 1

    가상 환경을 만들고 Python 패키지를 설치합니다(Apple Silicon이 탑재된 macOS)

    python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'
  2. 2

    8B 모델(약 4.2 GB)을 models/edge0-8b에 다운로드합니다

    .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b
  3. 3

    다운로드한 모델로 빠른 데모를 실행합니다

    edge0 demo models/edge0-8b

사용 전 알아둘 점

  • Python 프레임워크는 Apple Silicon이 탑재된 macOS에서만 실행됩니다. CUDA 백엔드는 아직 사용할 수 없습니다.
  • 출시된 모델에는 preview 라벨이 붙어 있습니다.
  • 35B 체크포인트는 디스크에서 약 23 GB를 차지합니다.

Repolode 주간에 소개됨

포함된 컬렉션

로컬에서 LLM 실행하기오픈소스 Mac 앱

토픽

#llm-inference#mixture-of-experts#model-quantization#on-device-ai#apple-silicon#mlx#lora#edge-computing

자주 묻는 질문

Edge0은(는) 무엇인가요?
학습된 라우팅 예측을 활용해 SSD에서 전문가 가중치를 스트리밍함으로써 소비자용 기기에서 대규모 희소 MoE 모델을 실행하는 오픈소스 프레임워크입니다. edge0는 희소 Mixture-of-Experts(MoE) 언어 모델을 위한 스트리밍 추론 프레임워크입니다. 모든 전문가 가중치를 메모리에 올리는 대신 필요할 때 저장소에서 가중치를 스트리밍하므로, 최대 메모리 사용량은 전체 파라미터 수가 아니라 활성 전문가 집합의 크기에 따라 제한됩니다. 이 프로젝트는 4비트 양자화된 두 가지 모델 버전인 35B-A3B 모델과 8B-A1B 모델을 공개했습니다.
Edge0은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Edge0은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Edge0은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Edge0의 마지막 커밋은 2026년 11월 4일입니다.
Edge0은(는) 어디에 사용할 수 있나요?
통합 메모리가 제한된 Mac에서 35B급 MoE 모델을 실행합니다. iPhone, Android 또는 Windows PC에서 온디바이스 LLM 추론을 실험합니다. Apple Silicon에서 개발 도구용 로컬 OpenAI 호환 채팅 엔드포인트를 제공합니다. 메모리가 제한된 추론 환경을 위한 전문가 오프로딩과 라우팅 예측을 연구합니다.
Edge0는 어떻게 설치하나요?
가상 환경을 만들고 Python 패키지를 설치합니다(Apple Silicon이 탑재된 macOS): python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]' 8B 모델(약 4.2 GB)을 models/edge0-8b에 다운로드합니다: .venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b 다운로드한 모델로 빠른 데모를 실행합니다: edge0 demo models/edge0-8b
Edge0은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Edge0-AI/Edge0

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트