Repolode
제출하기
FlashML-org

FlashML-org/FreeToken

GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진

대체할 수 있는 제품:LM Studio

GitHub에서 보기웹사이트
스타
14,575
포크
1,468
열린 이슈
436
마지막 커밋
12시간 전

어떤 프로젝트인가요?

FreeToken은 게이밍 PC나 노트북 같은 개인용 하드웨어에서 최첨단 규모의 Mixture-of-Experts 모델을 실행하는 서빙 엔진입니다. GPU, CPU, 호스트 메모리와 인터커넥트를 하나의 추론 풀로 묶고, 대역폭에 맞춰 CPU와 GPU가 함께 실행하는 방식, 스트리밍 프리필, 전문가용 전역 LRU 캐시를 활용합니다.

DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 등의 모델을 지원하며 MXFP4, NVFP4, FP8, BF16 양자화도 지원합니다. Anthropic 및 OpenAI 호환 API를 제공하므로 Codex, Claude Code, OpenCode 같은 코딩 및 도구 호출 에이전트를 로컬 모델에 연결할 수 있습니다.

FreeToken은 순환 상태와 KV 캐시를 위한 시맨틱 앵커 체크포인트도 제공해, 에이전트의 컨텍스트를 편집할 때 이전 컨텍스트를 다시 계산하지 않도록 합니다. 또한 실행 중에 전문가 캐시와 KV 메모리 간 VRAM을 재할당할 수 있습니다. Windows 및 Linux용 데스크톱 앱과 pip로 설치할 수 있는 CLI를 제공하며, NVIDIA RTX 30, 40, 50 시리즈 GPU를 기본 지원합니다.

핵심 기능

  • 01CPU와 GPU를 함께 활용하고 전문가 캐시를 사용해 소비자용 GPU에서 대형 MoE 모델을 실행합니다.
  • 02MXFP4, NVFP4, FP8, BF16을 비롯한 양자화 형식을 지원합니다.
  • 03코딩 및 도구 호출 에이전트용 Anthropic 및 OpenAI 호환 API를 제공합니다.
  • 04엔진을 재시작하지 않고 전문가 캐시와 KV 메모리 간 VRAM을 재할당합니다.
  • 05Windows 및 Linux용 데스크톱 GUI와 pip로 설치할 수 있는 CLI를 제공합니다.

활용 사례

  • 게이밍 PC나 워크스테이션 GPU에서 최첨단 오픈 웨이트 MoE 모델을 로컬로 실행합니다.
  • Claude Code나 Codex 같은 코딩 에이전트를 로컬 모델에 연결합니다.
  • 클라우드 추론 비용을 들이거나 데이터가 기기 밖으로 나가지 않고도 대형 모델을 실험합니다.

토픽

#moe#llm-inference#edge-ai#local-llm#quantization#gpu#openai-compatible#deepseek-v4#edge#glm

자주 묻는 질문

FreeToken은(는) 무엇인가요?
GPU와 CPU 메모리에 작업을 분산해 소비자용 GPU에서 대형 오픈 웨이트 모델을 구동하는 엣지 네이티브 MoE 서빙 엔진 FreeToken은 게이밍 PC나 노트북 같은 개인용 하드웨어에서 최첨단 규모의 Mixture-of-Experts 모델을 실행하는 서빙 엔진입니다. GPU, CPU, 호스트 메모리와 인터커넥트를 하나의 추론 풀로 묶고, 대역폭에 맞춰 CPU와 GPU가 함께 실행하는 방식, 스트리밍 프리필, 전문가용 전역 LRU 캐시를 활용합니다.
FreeToken은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
FreeToken은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
FreeToken은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. FreeToken의 마지막 커밋은 2026년 10월 18일입니다.
FreeToken은(는) 어디에 사용할 수 있나요?
게이밍 PC나 워크스테이션 GPU에서 최첨단 오픈 웨이트 MoE 모델을 로컬로 실행합니다. Claude Code나 Codex 같은 코딩 에이전트를 로컬 모델에 연결합니다. 클라우드 추론 비용을 들이거나 데이터가 기기 밖으로 나가지 않고도 대형 모델을 실험합니다.
FreeToken은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/FlashML-org/FreeToken

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트