Biblioteca de comunicación GPU para dispatch y combine de MoE con paralelismo de expertos, dispatch FP8 y compatibilidad con NVLink/RDMA para entrenamiento e inferencia.
10,3 mil1,5 milCudaMITActualizado hace 4 días
deepseek-ai/DeepInfer
Framework de inferencia offline de código abierto de DeepSeek para ejecutar DeepSeek-V4.1-Flash en hardware NVIDIA SM100 y Huawei Ascend 950.
- Estrellas
- 8,284
- Forks
- 697
- Issues abiertos
- 78
- Último commit
- hace 5 horas
¿Qué es?
DeepInfer es un framework de inferencia de DeepSeek para servir modelos grandes de DeepSeek. Esta versión permite la inferencia offline de DeepSeek-V4.1-Flash e incluye kernels optimizados, un runtime para modelos y muestreo, y opciones de paralelismo como el paralelismo de datos de atención, el paralelismo de contexto y el paralelismo de expertos de MoE con EPLB.
El framework incluye decodificación especulativa (DSpark) con verificación programada según la confianza, reproducción SWA acotada para reducir el trabajo de prefill del decodificador y un planificador asíncrono de lotes que solapa la planificación en CPU con la ejecución en el dispositivo. También ofrece inferencia invariante al tamaño del lote, muestreo determinista y salidas estructuradas restringidas mediante expresiones regulares, JSON schema o gramática EBNF.
DeepInfer funciona en Linux con Python 3.12 y CUDA 13 para GPU NVIDIA, o con CANN 9.2 para NPU Ascend. Esta versión no incluye un sistema de caché KV ni la separación entre prefill y decode, necesarios para ofrecer un servicio completo en producción.
Funciones clave
- 01Inferencia offline de DeepSeek-V4.1-Flash con kernels optimizados y un runtime de muestreo
- 02Paralelismo de datos de atención, paralelismo de contexto y paralelismo de expertos de MoE con EPLB
- 03Decodificación especulativa DSpark con verificación programada según la confianza
- 04Planificación asíncrona de lotes que solapa el trabajo en CPU con la ejecución en el dispositivo
- 05Inferencia invariante al tamaño del lote y muestreo determinista en GPU NVIDIA
- 06Salidas estructuradas restringidas mediante expresiones regulares, JSON schema o gramática EBNF
Casos de uso
- Ejecutar inferencia offline por lotes con DeepSeek-V4.1-Flash en GPU NVIDIA SM100
- Generar JSON u otras salidas de un modelo grande que cumplan restricciones de esquema
- Estudiar cómo DeepSeek sirve modelos MoE con paralelismo de expertos y decodificación especulativa
- Desplegar modelos de DeepSeek en NPU Huawei Ascend 950
Inicio rápido
- 1
Crea y activa un entorno vacío de Python 3.12
- 2
Configura el acelerador como NVIDIA
export DEEPINFER_ACCELERATOR=nvidia - 3
Compila DeepInfer desde el código fuente
./build.sh - 4
Ejecuta la inferencia sin conexión (en la primera ejecución se descarga el checkpoint predeterminado)
python examples/offline_inference.py
Antes de usarlo
- Solo funciona en GPU NVIDIA SM100 o NPU Huawei Ascend 950, y requiere Linux, CUDA 13 o CANN 9.2.
- Solo admite el modelo DeepSeek-V4.1-Flash.
- Esta versión de código abierto no incluye un sistema KV cache ni la desagregación de prefill/decode, por lo que no constituye una pila de serving completa.
- Algunas funciones, como la inferencia batch-invariant y el muestreo determinista, solo están disponibles en NVIDIA.
Temas
Preguntas frecuentes
- ¿Qué es DeepInfer?
- Framework de inferencia offline de código abierto de DeepSeek para ejecutar DeepSeek-V4.1-Flash en hardware NVIDIA SM100 y Huawei Ascend 950. DeepInfer es un framework de inferencia de DeepSeek para servir modelos grandes de DeepSeek. Esta versión permite la inferencia offline de DeepSeek-V4.1-Flash e incluye kernels optimizados, un runtime para modelos y muestreo, y opciones de paralelismo como el paralelismo de datos de atención, el paralelismo de contexto y el paralelismo de expertos de MoE con EPLB.
- ¿DeepInfer es gratuito? ¿Qué licencia tiene?
- DeepInfer es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿DeepInfer sigue mantenido?
- Mantenimiento activo. El último commit de DeepInfer fue el 20 oct 2026.
- ¿Para qué puedo usar DeepInfer?
- Ejecutar inferencia offline por lotes con DeepSeek-V4.1-Flash en GPU NVIDIA SM100 Generar JSON u otras salidas de un modelo grande que cumplan restricciones de esquema Estudiar cómo DeepSeek sirve modelos MoE con paralelismo de expertos y decodificación especulativa Desplegar modelos de DeepSeek en NPU Huawei Ascend 950
- ¿Cómo se instala DeepInfer?
- Crea y activa un entorno vacío de Python 3.12 Configura el acelerador como NVIDIA: export DEEPINFER_ACCELERATOR=nvidia Compila DeepInfer desde el código fuente: ./build.sh Ejecuta la inferencia sin conexión (en la primera ejecución se descarga el checkpoint predeterminado): python examples/offline_inference.py
- ¿Dónde consigo DeepInfer?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/deepseek-ai/DeepInfer
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado hace 7 horas
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado hace 7 horas
Motor de inferencia nativo y especializado para ejecutar DeepSeek V4 Flash y otros modelos grandes seleccionados en hardware de consumo con Metal, CUDA y ROCm.
23,9 mil2,3 milCMITActualizado ayer
Receta para servir DeepSeek-V4.1-Flash-1017 (EXL3, 2.9 bpw) en dos NVIDIA DGX Sparks como API compatible con OpenAI, con una ventana de 1 M de tokens.
13421ShellApache-2.0Actualizado hace 6 horas
Registro de ejecución y benchmarking de DeepSeek-V4.1-Flash (552B MoE) en cuatro NVIDIA DGX Spark con TensorFold y vLLM, incluidos los scripts de lanzamiento y los resultados medidos.
13121PythonMITActualizado ayer