Un motor de inferencia escrito íntegramente en C que ejecuta modelos MoE muy grandes en hardware convencional mediante la carga de expertos desde el disco según se necesitan.
42,8 mil4,8 milCApache-2.0Actualizado hace 11 horas
antirez/ds4
Motor de inferencia nativo y especializado para ejecutar DeepSeek V4 Flash y otros modelos grandes seleccionados en hardware de consumo con Metal, CUDA y ROCm.
- Estrellas
- 23,949
- Forks
- 2,313
- Issues abiertos
- 790
- Último commit
- hace 9 horas
¿Qué es?
DwarfStar es un motor de inferencia pequeño y autónomo, escrito en C, diseñado para ejecutar un conjunto reducido de modelos grandes con pesos abiertos en hardware al alcance de los usuarios. Es compatible con DeepSeek V4 Flash (con un modelo de visión experimental), DeepSeek V4.1 Flash, DeepSeek V4 PRO, variantes de GLM 5.x y Qwen3.8 Flash Next. No pretende ser un ejecutor GGUF de propósito general: usa archivos GGUF generados por el propio proyecto.
El objetivo principal son los Mac con Apple Silicon, con streaming desde SSD para equipos con menos RAM. También es compatible con NVIDIA CUDA en DGX Spark y configuraciones multi-GPU, incluidas las tarjetas Ada Lovelace y L40S, y con ROCm en sistemas Strix Halo. El proyecto incluye una CLI interactiva, un agente de programación nativo (ds4-agent) que funciona sin servidor HTTP, un servidor HTTP (ds4-server) compatible con varias sesiones y una herramienta de evaluación para pruebas de regresión de capacidades.
El proyecto está en fase beta y cambia rápidamente. La compatibilidad con modelos se decide según cuáles sean los mejores pesos abiertos disponibles para máquinas de tamaño de consumo, y el código se desarrolla en parte con agentes de programación de IA.
Funciones clave
- 01Motor de inferencia nativo en C con backends para Metal, CUDA y ROCm.
- 02El streaming desde SSD permite ejecutar modelos que superan la RAM disponible en equipos más modestos.
- 03Compatibilidad con CUDA multi-GPU, incluidas las tarjetas Ada Lovelace y L40S.
- 04Agente de programación nativo integrado y servidor HTTP al estilo de OpenAI con varias sesiones.
- 05Decodificación especulativa (MTP) y guardado y restauración de la caché KV de las sesiones.
Casos de uso
- Ejecutar localmente modelos de la categoría DeepSeek o GLM en un Mac con mucha memoria.
- Ofrecer un endpoint local de LLM para varios usuarios en un servidor CUDA multi-GPU.
- Usar un agente de programación local con clientes como Pi, OpenCode o Claude Code.
- Experimentar con los detalles internos de la inferencia para un conjunto reducido de modelos grandes.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/antirez/ds4.git - 2
Entra en el directorio del proyecto
cd ds4 - 3
Compila para tu plataforma (Metal en Apple Silicon)
make - 4
Descarga el modelo DeepSeek V4 Flash Q2 (para equipos con 96 o 128 GB)
./download_model.sh ds4f-q2
Antes de usarlo
- Es una versión beta que cambia rápidamente, por lo que pueden producirse inestabilidades y regresiones.
- La compatibilidad con Metal para DeepSeek y GLM requiere 96 GB o más; los Mac con menos memoria necesitan transmitir los datos desde un SSD.
- El alcance es deliberadamente limitado: solo ejecuta los modelos específicos compatibles y los archivos GGUF generados por el proyecto, no archivos GGUF genéricos.
- El software se desarrolló con una gran ayuda de agentes de programación con IA.
Temas
Preguntas frecuentes
- ¿Qué es ds4?
- Motor de inferencia nativo y especializado para ejecutar DeepSeek V4 Flash y otros modelos grandes seleccionados en hardware de consumo con Metal, CUDA y ROCm. DwarfStar es un motor de inferencia pequeño y autónomo, escrito en C, diseñado para ejecutar un conjunto reducido de modelos grandes con pesos abiertos en hardware al alcance de los usuarios. Es compatible con DeepSeek V4 Flash (con un modelo de visión experimental), DeepSeek V4.1 Flash, DeepSeek V4 PRO, variantes de GLM 5.x y Qwen3.8 Flash Next. No pretende ser un ejecutor GGUF de propósito general: usa archivos GGUF generados por el propio proyecto.
- ¿ds4 es gratuito? ¿Qué licencia tiene?
- ds4 es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ds4 sigue mantenido?
- Mantenimiento activo. El último commit de ds4 fue el 19 oct 2026.
- ¿Para qué puedo usar ds4?
- Ejecutar localmente modelos de la categoría DeepSeek o GLM en un Mac con mucha memoria. Ofrecer un endpoint local de LLM para varios usuarios en un servidor CUDA multi-GPU. Usar un agente de programación local con clientes como Pi, OpenCode o Claude Code. Experimentar con los detalles internos de la inferencia para un conjunto reducido de modelos grandes.
- ¿Cómo se instala ds4?
- Clona el repositorio: git clone https://github.com/antirez/ds4.git Entra en el directorio del proyecto: cd ds4 Compila para tu plataforma (Metal en Apple Silicon): make Descarga el modelo DeepSeek V4 Flash Q2 (para equipos con 96 o 128 GB): ./download_model.sh ds4f-q2
- ¿Dónde consigo ds4?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/antirez/ds4
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Conecta un iPhone a un Mac por USB-C para que la GPU del teléfono ayude a ejecutar localmente un modelo Qwen 27B y agilice la lectura de prompts y amplíe el contexto.
1,1 mil118PythonMITActualizado hace 6 días
Runner local y en la nube para modelos abiertos como Gemma, Qwen, DeepSeek y gpt-oss, con CLI, API REST y bibliotecas para Python y JavaScript.
183,8 mil18,4 milGoMITActualizado ayer
CLI y TUI en Rust que detecta tu CPU, RAM y GPU y clasifica los LLM de código abierto según qué tan bien funcionarán en tu equipo.
38,1 mil2,5 milRustMITActualizado hace 14 horas
Herramienta CLI para ajustar y seguir entrenando LLM con una sola configuración YAML, con opciones para usar GPU de consumo con poca VRAM.
9,4 mil1,5 milPythonApache-2.0Actualizado hace 10 horas
Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar modelos abiertos más rápido en Apple Silicon, NVIDIA, AMD o CPU.
7,2 mil494RustApache-2.0Actualizado hace 18 horas