vllm-project/speculators

어떤 프로젝트인가요?

핵심 기능

• 01vLLM으로 hidden state를 생성해 draft model 학습용으로 디스크에 저장합니다.
• 02MoE 및 vision-language model을 포함해 단일 계층과 다중 계층 draft model을 학습합니다.
• 03speculator를 확장 가능한 Hugging Face 호환 형식으로 저장합니다.
• 04외부 연구 저장소의 draft model을 표준 형식으로 변환합니다.
• 05학습된 speculator를 `vllm serve`로 vLLM에 바로 배포합니다.
• 06EAGLE-3, DFlash, DSpark, P-EAGLE 학습 알고리즘을 지원합니다.

활용 사례

• 대응하는 draft model을 학습해 vLLM에서 대형 LLM을 더 빠르게 서빙합니다.
• 프로덕션 워크로드에 더 잘 맞도록 도메인별 데이터로 draft model을 학습합니다.
• Qwen3-Next 같은 모델의 기본 MTP 헤드를 파인튜닝합니다.
• GuideLLM으로 speculative decoding 설정을 벤치마킹합니다.

빠른 시작

1. 1

   PyPI에서 설치하기

   pip install speculators
2. 2

   설치 확인하기

   speculators --version
3. 3

   vLLM으로 학습된 speculator 모델 서빙하기

   vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

사용 전 알아둘 점

• !Linux 또는 macOS와 Python 3.11 이상이 필요합니다.
• !speculator 모델을 서빙하려면 vLLM이 필요하며, README에서는 vLLM을 설치해 주지 않습니다.

포함된 컬렉션

토픽

자주 묻는 질문

speculators은(는) 무엇인가요?

vLLM 추론 엔진에 바로 배포할 수 있는 speculative decoding용 draft model을 학습하는 Python 라이브러리입니다. Speculators는 vLLM 같은 LLM 추론 엔진에서 바로 실행되는 speculative decoding용 draft model을 학습하는 라이브러리입니다. Speculative decoding은 작은 draft model이 여러 토큰을 먼저 제안하고, 대형 base model이 한 번의 forward pass로 이를 검증해 생성 속도를 높입니다. 승인된 토큰은 base model이 생성했을 토큰과 일치하므로 출력 품질은 달라지지 않습니다.

speculators은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

speculators은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

speculators은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. speculators의 마지막 커밋은 2026년 10월 23일입니다.

speculators은(는) 어디에 사용할 수 있나요?

대응하는 draft model을 학습해 vLLM에서 대형 LLM을 더 빠르게 서빙합니다. 프로덕션 워크로드에 더 잘 맞도록 도메인별 데이터로 draft model을 학습합니다. Qwen3-Next 같은 모델의 기본 MTP 헤드를 파인튜닝합니다. GuideLLM으로 speculative decoding 설정을 벤치마킹합니다.

speculators는 어떻게 설치하나요?

PyPI에서 설치하기: pip install speculators 설치 확인하기: speculators --version vLLM으로 학습된 speculator 모델 서빙하기: vllm serve RedHatAI/Qwen3-8B-speculator.eagle3

speculators은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/vllm-project/speculators