EAGLE-4은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

EAGLE-4은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

EAGLE-4은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. EAGLE-4의 마지막 커밋은 2026년 10월 20일입니다.

EAGLE-4은(는) 어디에 사용할 수 있나요?

멀티 GPU NVIDIA B300 노드에서 Qwen3.8-27B를 서빙할 때 토큰당 지연 시간 단축 단일 요청 또는 동시성이 낮은 vLLM 배포의 처리량 향상 SGLang을 사용해 AMD MI355X에서 EAGLE-4 draft 실행 추측 디코딩을 사용하지 않는 기준과 speculative decoding 성능 비교

EAGLE-4는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/eagle-hq/EAGLE-4 릴리스 설정 파일에서 버전 고정 정보를 불러옵니다: . EAGLE-4/docs/release.env 패치된 SGLang 엔진(CUDA)을 설치합니다: python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2' PyPI에서 eagle-harness를 설치하고 검사를 실행합니다: python -m pip install "eagle-harness==$EAGLE_VERSION"

EAGLE-4은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/eagle-hq/EAGLE-4

eagle-hq/EAGLE-4

SGLang, vLLM, TokenSpeed에서 LLM 서빙 속도를 높이는 speculative decoding 하네스 EAGLE-4의 추론 코드입니다.

GitHub에서 보기 웹사이트

스타: 229
포크: 6
열린 이슈: 0
마지막 커밋: 11시간 전

어떤 프로젝트인가요?

EAGLE-4는 대규모 언어 모델 추론을 가속하는 speculative decoding 시스템입니다. 작은 draft 모델이 후보 토큰을 제안하고 target 모델이 이를 검증하며, target 모델의 출력 분포를 유지하는 것을 목표로 합니다. draft는 배치 크기, 하드웨어, 워크로드에 맞춰 speculative tree를 조정합니다.

이 저장소의 eagle-harness는 pip로 설치할 수 있는 패키지로, 런타임에 엔진을 패치하지 않고 엔진 훅을 통해 EAGLE-4 draft를 SGLang, vLLM, 실험 단계의 TokenSpeed 엔진에 연결합니다. 패치된 엔진은 버전이 고정된 wheel과 컨테이너 이미지로 배포됩니다. 성능 측정 대상 조합은 NVIDIA B300 및 AMD MI355X 하드웨어에서 Qwen3.8-27B와 해당 모델의 EAGLE-4 draft를 사용하는 구성입니다.

이 프로젝트에는 설치 및 서빙 레시피, vLLM 비용 테이블을 보정하는 명령, 추측 디코딩을 사용하지 않는 기준과 처리량을 비교해 보여 주는 지원 매트릭스가 포함되어 있습니다. 텍스트 전용 요청을 지원하며, 저장소는 OSI 승인 라이선스가 아닌 자체 라이선스로 소스 코드를 공개합니다.

핵심 기능

01Qwen3.8-27B용 EAGLE-4 draft를 사용하는 speculative decoding
02SGLang, vLLM, 실험 단계의 TokenSpeed용 엔진 플러그인
03측정된 draft 및 검증 비용을 바탕으로 크기를 조정하는 적응형 speculative tree
04NVIDIA B300 및 AMD MI355X용으로 버전이 고정된 wheel과 컨테이너 이미지
05기본 제공 환경 점검 명령 eagle-harness-check

활용 사례

멀티 GPU NVIDIA B300 노드에서 Qwen3.8-27B를 서빙할 때 토큰당 지연 시간 단축
단일 요청 또는 동시성이 낮은 vLLM 배포의 처리량 향상
SGLang을 사용해 AMD MI355X에서 EAGLE-4 draft 실행
추측 디코딩을 사용하지 않는 기준과 speculative decoding 성능 비교

빠른 시작

1
저장소를 클론합니다
git clone https://github.com/eagle-hq/EAGLE-4
2
릴리스 설정 파일에서 버전 고정 정보를 불러옵니다
. EAGLE-4/docs/release.env
3
패치된 SGLang 엔진(CUDA)을 설치합니다
python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2'
4
PyPI에서 eagle-harness를 설치하고 검사를 실행합니다
python -m pip install "eagle-harness==$EAGLE_VERSION"

사용 전 알아둘 점

라이선스는 소스 공개형이며 OSI 승인을 받은 오픈 소스 라이선스가 아닙니다.
경쟁 제품을 상업적으로 이용하려면 별도의 서면 라이선스가 필요하며, 그 밖의 상업적 이용에도 매출 한도가 적용됩니다.
공개된 레시피는 NVIDIA B300 또는 AMD MI355X GPU를 대상으로 하며, 주요 예제에서는 GPU 4개를 사용합니다.
TokenSpeed 지원은 실험적이며 CUDA로 제한됩니다.

토픽

#llm-inference #speculative-decoding #gpu #sglang #vllm #eagle #tokenspeed

자주 묻는 질문

EAGLE-4은(는) 무엇인가요?: SGLang, vLLM, TokenSpeed에서 LLM 서빙 속도를 높이는 speculative decoding 하네스 EAGLE-4의 추론 코드입니다. EAGLE-4는 대규모 언어 모델 추론을 가속하는 speculative decoding 시스템입니다. 작은 draft 모델이 후보 토큰을 제안하고 target 모델이 이를 검증하며, target 모델의 출력 분포를 유지하는 것을 목표로 합니다. draft는 배치 크기, 하드웨어, 워크로드에 맞춰 speculative tree를 조정합니다.
EAGLE-4은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: EAGLE-4은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
EAGLE-4은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. EAGLE-4의 마지막 커밋은 2026년 10월 20일입니다.
EAGLE-4은(는) 어디에 사용할 수 있나요?: 멀티 GPU NVIDIA B300 노드에서 Qwen3.8-27B를 서빙할 때 토큰당 지연 시간 단축 단일 요청 또는 동시성이 낮은 vLLM 배포의 처리량 향상 SGLang을 사용해 AMD MI355X에서 EAGLE-4 draft 실행 추측 디코딩을 사용하지 않는 기준과 speculative decoding 성능 비교
EAGLE-4는 어떻게 설치하나요?: 저장소를 클론합니다: git clone https://github.com/eagle-hq/EAGLE-4 릴리스 설정 파일에서 버전 고정 정보를 불러옵니다: . EAGLE-4/docs/release.env 패치된 SGLang 엔진(CUDA)을 설치합니다: python -m pip install --extra-index-url "$EAGLE_CUDA_INDEX" --extra-index-url "$EAGLE_TORCH_CUDA_INDEX" "sglang==$EAGLE_SGLANG_VERSION" 'flashinfer-python>=0.7.2' PyPI에서 eagle-harness를 설치하고 검사를 실행합니다: python -m pip install "eagle-harness==$EAGLE_VERSION"
EAGLE-4은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/eagle-hq/EAGLE-4

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.