Runner local y en la nube para modelos abiertos como Gemma, Qwen, DeepSeek y gpt-oss, con CLI, API REST y bibliotecas para Python y JavaScript.
simplexai-labs/PolyStrata
Ejecuta grandes LLM de pesos abiertos, como Qwen3.6, GLM 5.3 Flash y Gemma 4, en tu PC con NVIDIA o AMD y ofrece APIs compatibles con OpenAI y Anthropic en localhost.
- Estrellas
- 891
- Forks
- 126
- Issues abiertos
- 15
- Último commit
- anteayer
¿Qué es?
PolyStrata es una configuración de inferencia local para grandes modelos de lenguaje GGUF en hardware de consumo. Ejecuta doce modelos con dos motores: Qwen3.8-Flash-Next con el motor Strata para tarjetas NVIDIA o AMD con 12 GB o más, y otros once modelos (entre ellos GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 y MiniCPM-V) con un motor específico de PolyStrata. Los archivos de los modelos son grandes y la mayor parte de sus pesos permanece en la RAM del sistema, mientras que la GPU mantiene las partes que se usan con más frecuencia.
El proyecto incluye un instalador de un clic para Windows (START-HERE.bat) y Linux (setup.sh), además de una versión para Mac con Qwen3.8-Flash-Next en Apple Silicon. El instalador detecta la tarjeta gráfica y la RAM, recomienda el tamaño del modelo y la longitud del contexto, descarga el modelo e inicia un servidor local en 127.0.0.1:8080. El servidor ofrece un endpoint compatible con OpenAI en /v1 y otro con el estilo de Anthropic en /v1/messages, e incluye un chat en el navegador y un monitor en tiempo real.
La documentación presenta cifras de benchmark por modelo y hardware, incluidos los tokens por segundo al generar respuestas y leer prompts, y señala que los modelos que usan el motor PolyStrata son experimentales.
Funciones clave
- 01Ejecuta doce grandes modelos de pesos abiertos, entre ellos GLM 5.3 Flash, DeepSeek V4 Flash y Qwen3.6, en hardware local.
- 02Instaladores de un clic para Windows y Linux que eligen el tamaño del modelo según la GPU y la RAM.
- 03Ofrece APIs compatibles con OpenAI y con el estilo de Anthropic en localhost para aplicaciones y agentes de programación.
- 04Incluye una interfaz de chat en el navegador y un monitor en tiempo real del uso de GPU, CPU y RAM.
- 05Admite configuraciones con varias GPU y la entrada opcional de imágenes en varios modelos.
Casos de uso
- Usar un asistente de programación eficaz, como Claude Code, con un modelo que permanece en tu propio equipo.
- Conversar en privado con grandes modelos cuando no se pueden usar APIs en la nube.
- Probar grandes modelos MoE en una sola GPU de clase gaming con abundante RAM del sistema.
- Conectar aplicaciones existentes basadas en OpenAI o Anthropic a un endpoint local sin cambiar el código.
Inicio rápido
- 1
Descarga PolyStrata desde GitHub como archivo ZIP o clónalo
- 2
En Windows, haz doble clic en START-HERE.bat dentro de la carpeta PolyStrata
- 3
En Linux, ejecuta el script de configuración dentro de la carpeta PolyStrata
./setup.sh - 4
Espera a que el modelo se descargue y se inicie; luego abre http://127.0.0.1:8080
Antes de usarlo
- La mayoría de los modelos necesitan una tarjeta gráfica NVIDIA o AMD con al menos 8 a 12 GB de VRAM.
- Once de los doce modelos se ejecutan en un motor experimental, y GLM 5.3 Flash y DeepSeek V4 Flash necesitan una tarjeta de 32 GB y Linux.
- Las descargas de los modelos son grandes, de 11 GB a 114 GB, y el primer inicio puede bloquear el PC durante 1 a 3 minutos.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es PolyStrata?
- Ejecuta grandes LLM de pesos abiertos, como Qwen3.6, GLM 5.3 Flash y Gemma 4, en tu PC con NVIDIA o AMD y ofrece APIs compatibles con OpenAI y Anthropic en localhost. PolyStrata es una configuración de inferencia local para grandes modelos de lenguaje GGUF en hardware de consumo. Ejecuta doce modelos con dos motores: Qwen3.8-Flash-Next con el motor Strata para tarjetas NVIDIA o AMD con 12 GB o más, y otros once modelos (entre ellos GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 y MiniCPM-V) con un motor específico de PolyStrata. Los archivos de los modelos son grandes y la mayor parte de sus pesos permanece en la RAM del sistema, mientras que la GPU mantiene las partes que se usan con más frecuencia.
- ¿PolyStrata es gratuito? ¿Qué licencia tiene?
- PolyStrata es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿PolyStrata sigue mantenido?
- Mantenimiento activo. El último commit de PolyStrata fue el 5 nov 2026.
- ¿Para qué puedo usar PolyStrata?
- Usar un asistente de programación eficaz, como Claude Code, con un modelo que permanece en tu propio equipo. Conversar en privado con grandes modelos cuando no se pueden usar APIs en la nube. Probar grandes modelos MoE en una sola GPU de clase gaming con abundante RAM del sistema. Conectar aplicaciones existentes basadas en OpenAI o Anthropic a un endpoint local sin cambiar el código.
- ¿Cómo se instala PolyStrata?
- Descarga PolyStrata desde GitHub como archivo ZIP o clónalo En Windows, haz doble clic en START-HERE.bat dentro de la carpeta PolyStrata En Linux, ejecuta el script de configuración dentro de la carpeta PolyStrata: ./setup.sh Espera a que el modelo se descargue y se inicie; luego abre http://127.0.0.1:8080
- ¿Dónde consigo PolyStrata?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/simplexai-labs/PolyStrata
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia nativo y especializado para ejecutar DeepSeek V4 Flash y otros modelos grandes seleccionados en hardware de consumo con Metal, CUDA y ROCm.
Servidor de inferencia de LLM en Rust para modelos mixture-of-experts más grandes que la GPU, con una API HTTP compatible con llama-server, en GPU NVIDIA y Apple Silicon.
Servidor de inferencia MLX autoalojado para Apple Silicon, con API compatibles con OpenAI, Anthropic y Ollama para LLM, VLM y generación de imágenes.
Runner local en un solo archivo para modelos de lenguaje GGUF, con una interfaz web KoboldAI integrada y generación de texto, imágenes, voz y música.
Motor de inferencia autoalojado que ejecuta grandes modelos MoE, como GLM-5.3-Flash, en tu propia GPU mediante API compatibles con OpenAI.