Repolode
제출하기
Luce-Org

Luce-Org/lucebox

투기적 디코딩·프리필과 커스텀 커널을 활용해 일반 소비자용 GPU와 AMD/NVIDIA 혼합 시스템에서 구동하는 C++ LLM 추론 서버입니다.

GitHub에서 보기웹사이트
스타
2,954
포크
286
열린 이슈
111
마지막 커밋
16시간 전

어떤 프로젝트인가요?

Lucebox는 로컬에서 대형 모델을 일반 소비자용 하드웨어로 더 빠르게 실행하는 것을 목표로 하는 C++ 기반 LLM 추론 서버입니다. 작은 초안 모델이 토큰을 제안하고 대상 모델이 이를 검증하는 투기적 디코딩, 긴 프롬프트를 압축하는 투기적 프리필, 모델과 GPU별로 최적화된 커널을 결합합니다. 로컬 포트에서 OpenAI 호환 API를 제공하며, Anthropic Messages 및 Responses 엔드포인트도 지원합니다.

NVIDIA 카드에는 CUDA를, AMD 카드에는 HIP/ROCm을 사용하며, Radeon R9700과 Strix Halo APU를 함께 사용하는 경우처럼 서로 다른 장치에 작업을 분산하거나 SSD에 전문가를 배치할 수도 있습니다. 지원 모델에는 Qwen 3.x, Gemma 4, Laguna XS 2.1, DeepSeek V4 변형이 있으며, 각 모델의 GGUF 가중치와 드래프터가 공개되어 있습니다. CUDA 12+ 및 ROCm 6+용 Docker 이미지도 제공됩니다.

저장소에는 Claude Code, Codex, OpenCode, Open WebUI 같은 코딩 도구용 클라이언트 하네스 실행 스크립트와 이미지 생성(MOSS-Image), 이미지 입력 지원도 포함되어 있습니다. 벤치마크는 하드웨어 구성별로 보고되며, 구성이 다른 결과끼리는 직접 비교할 수 없습니다.

핵심 기능

  • 01더 빠른 토큰 생성을 위해 드래프터 모델을 사용하는 투기적 디코딩.
  • 02메인 모델 실행 전에 긴 프롬프트를 압축하는 투기적 프리필.
  • 03OpenAI 호환 API와 Anthropic Messages 및 Responses API 엔드포인트.
  • 04혼합 장치 배치를 포함해 CUDA(NVIDIA) 및 HIP/ROCm(AMD) 백엔드 지원.
  • 05여러 요청을 동시에 처리하는 Paged attention 및 연속 배칭.
  • 06특정 하드웨어 구성에 맞춘 사전 빌드 Docker 이미지와 실행 프로필.

활용 사례

  • 일반 소비자용 GPU 한 대 또는 AMD APU에서 대형 오픈 웨이트 모델을 로컬로 실행.
  • 코딩 에이전트와 채팅 클라이언트에 로컬 OpenAI 호환 엔드포인트 제공.
  • VRAM이 제한된 가정용 워크스테이션에서 긴 컨텍스트 프롬프트 처리.
  • NVIDIA 또는 AMD 하드웨어에서 투기적 디코딩 실험.

사용 전 알아둘 점

  • 표시된 README에는 설치 또는 실행 명령이 없어 이 페이지에서 설정 방법을 알기 어렵습니다.
  • 벤치마크와 프로파일은 R9700, Strix Halo, RTX 3090 같은 특정 하드웨어를 대상으로 하며, 배지에는 CUDA 12+ 또는 HIP 7+가 필요하다고 표시되어 있습니다.

포함된 컬렉션

로컬에서 LLM 실행하기GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference#speculative-decoding#cuda#rocm#local-ai#gpu#c-plus-plus#cuda-kernels#dflash#heterogeneous-computing

자주 묻는 질문

lucebox은(는) 무엇인가요?
투기적 디코딩·프리필과 커스텀 커널을 활용해 일반 소비자용 GPU와 AMD/NVIDIA 혼합 시스템에서 구동하는 C++ LLM 추론 서버입니다. Lucebox는 로컬에서 대형 모델을 일반 소비자용 하드웨어로 더 빠르게 실행하는 것을 목표로 하는 C++ 기반 LLM 추론 서버입니다. 작은 초안 모델이 토큰을 제안하고 대상 모델이 이를 검증하는 투기적 디코딩, 긴 프롬프트를 압축하는 투기적 프리필, 모델과 GPU별로 최적화된 커널을 결합합니다. 로컬 포트에서 OpenAI 호환 API를 제공하며, Anthropic Messages 및 Responses 엔드포인트도 지원합니다.
lucebox은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
lucebox은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
lucebox은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. lucebox의 마지막 커밋은 2026년 10월 24일입니다.
lucebox은(는) 어디에 사용할 수 있나요?
일반 소비자용 GPU 한 대 또는 AMD APU에서 대형 오픈 웨이트 모델을 로컬로 실행. 코딩 에이전트와 채팅 클라이언트에 로컬 OpenAI 호환 엔드포인트 제공. VRAM이 제한된 가정용 워크스테이션에서 긴 컨텍스트 프롬프트 처리. NVIDIA 또는 AMD 하드웨어에서 투기적 디코딩 실험.
lucebox은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Luce-Org/lucebox

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트