DeepInfer은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

DeepInfer은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

DeepInfer은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. DeepInfer의 마지막 커밋은 2026년 10월 20일입니다.

DeepInfer은(는) 어디에 사용할 수 있나요?

NVIDIA SM100 GPU에서 DeepSeek-V4.1-Flash로 오프라인 배치 추론 실행 대규모 모델에서 JSON 또는 기타 스키마 제약 출력 생성 전문가 병렬화와 추측 디코딩을 활용한 DeepSeek의 MoE 모델 서빙 방식 연구 Huawei Ascend 950 NPU에 DeepSeek 모델 배포

DeepInfer는 어떻게 설치하나요?

비어 있는 Python 3.12 환경을 만들고 활성화합니다 가속기를 NVIDIA로 설정합니다: export DEEPINFER_ACCELERATOR=nvidia DeepInfer를 소스에서 빌드합니다: ./build.sh 오프라인 추론을 실행합니다(첫 실행 시 기본 체크포인트를 다운로드합니다): python examples/offline_inference.py

DeepInfer은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/deepseek-ai/DeepInfer

deepseek-ai/DeepInfer

DeepSeek의 오픈소스 오프라인 추론 프레임워크로, NVIDIA SM100 및 Huawei Ascend 950 하드웨어에서 DeepSeek-V4.1-Flash를 실행합니다.

GitHub에서 보기

스타: 8,284
포크: 697
열린 이슈: 78
마지막 커밋: 10시간 전

어떤 프로젝트인가요?

DeepInfer는 대규모 DeepSeek 모델을 서빙하기 위한 DeepSeek의 추론 프레임워크입니다. 이번 릴리스는 최적화된 커널, 모델 및 샘플러 런타임, attention 데이터 병렬화, context 병렬화, EPLB를 활용한 MoE 전문가 병렬화 등의 병렬 처리 옵션을 갖춘 DeepSeek-V4.1-Flash 오프라인 추론을 지원합니다.

프레임워크에는 신뢰도 기반 검증 일정을 적용하는 추측 디코딩(DSpark), 디코더의 프리필 작업을 줄이는 제한적 SWA 재생, CPU 스케줄링과 디바이스 실행을 겹쳐 처리하는 비동기 배치 스케줄러가 포함됩니다. 또한 배치 불변 추론, 결정론적 샘플링, 정규식, JSON 스키마 또는 EBNF 문법으로 형식을 제한하는 구조화된 출력도 지원합니다.

DeepInfer는 NVIDIA GPU에서 Python 3.12 및 CUDA 13을 사용하는 Linux 환경이나, Ascend NPU에서 CANN 9.2를 사용하는 환경에서 실행됩니다. 이번 릴리스에는 완전한 프로덕션 서비스를 구현하는 데 필요한 KV 캐시 시스템이나 프리필/디코드 분리 기능은 포함되지 않습니다.

핵심 기능

01최적화된 커널과 샘플러 런타임을 갖춘 DeepSeek-V4.1-Flash 오프라인 추론
02attention 데이터 병렬화, context 병렬화, EPLB를 활용한 MoE 전문가 병렬화
03신뢰도 기반 검증 일정을 적용하는 DSpark 추측 디코딩
04CPU 작업과 디바이스 실행을 겹쳐 처리하는 비동기 배치 스케줄링
05NVIDIA GPU에서의 배치 불변 추론 및 결정론적 샘플링
06정규식, JSON 스키마 또는 EBNF 문법으로 형식을 제한하는 구조화된 출력

활용 사례

NVIDIA SM100 GPU에서 DeepSeek-V4.1-Flash로 오프라인 배치 추론 실행
대규모 모델에서 JSON 또는 기타 스키마 제약 출력 생성
전문가 병렬화와 추측 디코딩을 활용한 DeepSeek의 MoE 모델 서빙 방식 연구
Huawei Ascend 950 NPU에 DeepSeek 모델 배포

빠른 시작

1
비어 있는 Python 3.12 환경을 만들고 활성화합니다
2
가속기를 NVIDIA로 설정합니다
export DEEPINFER_ACCELERATOR=nvidia
3
DeepInfer를 소스에서 빌드합니다
./build.sh
4
오프라인 추론을 실행합니다(첫 실행 시 기본 체크포인트를 다운로드합니다)
python examples/offline_inference.py

사용 전 알아둘 점

NVIDIA SM100 GPU 또는 Huawei Ascend 950 NPU에서만 실행되며, Linux와 CUDA 13 또는 CANN 9.2가 필요합니다.
DeepSeek-V4.1-Flash 모델만 지원합니다.
이 오픈 소스 릴리스에는 KV cache 시스템과 prefill/decode 분리 기능이 없어 완전한 serving stack이 아닙니다.
batch-invariant inference와 deterministic sampling 등의 일부 기능은 NVIDIA 전용입니다.

토픽

#llm-inference #deepseek #moe #speculative-decoding #gpu #structured-output #cuda #ascend

자주 묻는 질문

DeepInfer은(는) 무엇인가요?: DeepSeek의 오픈소스 오프라인 추론 프레임워크로, NVIDIA SM100 및 Huawei Ascend 950 하드웨어에서 DeepSeek-V4.1-Flash를 실행합니다. DeepInfer는 대규모 DeepSeek 모델을 서빙하기 위한 DeepSeek의 추론 프레임워크입니다. 이번 릴리스는 최적화된 커널, 모델 및 샘플러 런타임, attention 데이터 병렬화, context 병렬화, EPLB를 활용한 MoE 전문가 병렬화 등의 병렬 처리 옵션을 갖춘 DeepSeek-V4.1-Flash 오프라인 추론을 지원합니다.
DeepInfer은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: DeepInfer은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
DeepInfer은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. DeepInfer의 마지막 커밋은 2026년 10월 20일입니다.
DeepInfer은(는) 어디에 사용할 수 있나요?: NVIDIA SM100 GPU에서 DeepSeek-V4.1-Flash로 오프라인 배치 추론 실행 대규모 모델에서 JSON 또는 기타 스키마 제약 출력 생성 전문가 병렬화와 추측 디코딩을 활용한 DeepSeek의 MoE 모델 서빙 방식 연구 Huawei Ascend 950 NPU에 DeepSeek 모델 배포
DeepInfer는 어떻게 설치하나요?: 비어 있는 Python 3.12 환경을 만들고 활성화합니다 가속기를 NVIDIA로 설정합니다: export DEEPINFER_ACCELERATOR=nvidia DeepInfer를 소스에서 빌드합니다: ./build.sh 오프라인 추론을 실행합니다(첫 실행 시 기본 체크포인트를 다운로드합니다): python examples/offline_inference.py
DeepInfer은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/deepseek-ai/DeepInfer

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.