Repolode
제출하기
JustVugg

JustVugg/colibri

디스크에서 라우팅된 전문가를 스트리밍해 일반 하드웨어에서도 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.

GitHub에서 보기웹사이트
스타
42,711
포크
4,774
열린 이슈
175
마지막 커밋
13시간 전

어떤 프로젝트인가요?

colibri는 사용자가 이미 보유한 컴퓨터에서 초대형 오픈 MoE(Mixture-of-Experts) 언어 모델을 실행합니다. MoE 모델은 토큰마다 파라미터 중 일부만 활성화하므로, colibri는 밀집 레이어와 자주 쓰이는 전문가 캐시를 RAM 또는 GPU 메모리에 두고, 라우터가 선택한 나머지 전문가를 디스크에서 읽어옵니다. 엔진은 순수 C로 작성됐으며 GPU가 필요하지 않고, 모델 계열마다 소스 파일 하나를 사용합니다.

이 프로젝트는 GLM-5.2, DeepSeek V4 Flash, Qwen3.6, Qwen3-Coder, Kimi K3, OLMoE 등의 모델을 포함해 13개 엔진을 지원합니다. 여기에 텍스트-이미지 엔진(Qwen-Image-2.1)과 의사결정 모델도 포함됩니다. OpenAI 호환 및 Anthropic 호환 HTTP API, 브라우저 대시보드, 터미널 채팅, MCP 서버를 제공합니다. 선택 사항인 CUDA, Vulkan, Metal 백엔드로 GPU에 작업을 맡길 수 있으며, 원스텝 설정 스크립트가 하드웨어를 감지하고 해당 환경에 맞는 모델을 추천한 뒤 엔진을 빌드합니다.

특징적인 기능인 System One 엔드포인트는 자유 형식의 텍스트를 생성하는 대신, 허용된 각 선택지의 확률을 반환해 정답이 정해진 의사결정 질문에 답합니다.

핵심 기능

  • 01학습된 캐시를 통해 라우팅된 전문가를 디스크에서 스트리밍해 RAM보다 큰 MoE 모델을 실행합니다.
  • 02컴파일러와 OpenMP 외에는 런타임 종속성이 없는 순수 C 엔진입니다.
  • 03GPU 가속을 위한 CUDA, Vulkan, Metal 백엔드를 선택적으로 사용할 수 있습니다.
  • 04대부분의 채팅 엔진에서 스트리밍과 tool calling을 지원하는 OpenAI 및 Anthropic 호환 HTTP API를 제공합니다.
  • 05브라우저 대시보드와 터미널 채팅, AI 어시스턴트용 MCP 서버를 제공합니다.
  • 06원스텝 설정으로 하드웨어를 감지하고 해당 시스템에 맞는 모델을 추천합니다.

활용 사례

  • 데이터센터용 GPU 없이 워크스테이션이나 노트북에서 대규모 오픈 MoE 모델 실행하기.
  • 코딩 도구와 편집기에서 사용할 로컬 OpenAI 또는 Anthropic 호환 엔드포인트 제공하기.
  • 보정된 확률을 활용해 라우팅, 분류, 예/아니요 판정과 같은 선택지가 정해진 의사결정 수행하기.
  • MoE 라우팅과 전문가 배치가 추론 속도에 미치는 영향 살펴보기.

토픽

#llm-inference#moe#mixture-of-experts#pure-c#local-llm#vulkan#cuda#openai-compatible

자주 묻는 질문

colibri은(는) 무엇인가요?
디스크에서 라우팅된 전문가를 스트리밍해 일반 하드웨어에서도 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다. colibri는 사용자가 이미 보유한 컴퓨터에서 초대형 오픈 MoE(Mixture-of-Experts) 언어 모델을 실행합니다. MoE 모델은 토큰마다 파라미터 중 일부만 활성화하므로, colibri는 밀집 레이어와 자주 쓰이는 전문가 캐시를 RAM 또는 GPU 메모리에 두고, 라우터가 선택한 나머지 전문가를 디스크에서 읽어옵니다. 엔진은 순수 C로 작성됐으며 GPU가 필요하지 않고, 모델 계열마다 소스 파일 하나를 사용합니다.
colibri은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
colibri은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
colibri은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. colibri의 마지막 커밋은 2026년 10월 18일입니다.
colibri은(는) 어디에 사용할 수 있나요?
데이터센터용 GPU 없이 워크스테이션이나 노트북에서 대규모 오픈 MoE 모델 실행하기. 코딩 도구와 편집기에서 사용할 로컬 OpenAI 또는 Anthropic 호환 엔드포인트 제공하기. 보정된 확률을 활용해 라우팅, 분류, 예/아니요 판정과 같은 선택지가 정해진 의사결정 수행하기. MoE 라우팅과 전문가 배치가 추론 속도에 미치는 영향 살펴보기.
colibri은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/JustVugg/colibri

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트