Repolode
Enviar
Niko1221

Niko1221/Strata

Motor de inferencia local que ejecuta el gran modelo Qwen3.8-Flash-Next en GPU NVIDIA o AMD de consumo con Windows o Linux, mediante APIs compatibles con OpenAI y Anthropic.

Ver en GitHub
Estrellas
28,433
Forks
3,010
Issues abiertos
1,362
Último commit
hace 24 horas

¿Qué es?

Strata es un motor de inferencia local que ejecuta Qwen3.8-Flash-Next, un modelo muy grande que normalmente se sirve desde hardware de centros de datos, en una PC gaming común. Requiere una tarjeta gráfica NVIDIA o AMD con al menos 12 GB de VRAM, 32 GB de RAM o más y Windows 10/11 o Linux. Un instalador detecta el hardware, recomienda un tamaño de modelo que se ajuste a la memoria disponible, descarga el modelo e inicia un servidor local.

El modelo está dividido en muchos expertos. Strata mantiene en la GPU los expertos más usados, los conserva todos en la RAM del sistema y lee los demás desde una tabla de búsqueda en un SSD, para que el modelo quepa en la memoria de equipos de consumo. También usa un modelo auxiliar pequeño para proponer varios tokens que el modelo grande verifica a la vez. El servidor ofrece endpoints compatibles con OpenAI, un endpoint Anthropic Messages y un endpoint OpenAI Responses, además de una interfaz de chat en el navegador y una interfaz de monitoreo en localhost.

Se ofrecen varios tamaños de modelo y niveles de cuantización. Los equipos Mac con Apple Silicon, Intel Arc y algunas GPU más antiguas figuran como experimentales y requieren compilar desde el código fuente.

Funciones clave

  • 01Ejecuta el modelo Qwen3.8-Flash-Next de 125B parámetros en una sola GPU NVIDIA o AMD de consumo.
  • 02Ofrece endpoints compatibles con OpenAI, Anthropic Messages y OpenAI Responses en localhost.
  • 03Se instala con un doble clic en un script en Windows o ejecutando un script de configuración en Linux.
  • 04Ofrece varios tamaños de modelo para que puedas ajustar la cuantización a la RAM disponible.
  • 05Incluye una interfaz de chat en el navegador y un monitor en tiempo real del uso de GPU, CPU y RAM.
  • 06Admite entrada de imágenes opcional y configuraciones con varias GPU.

Casos de uso

  • Ejecutar un modelo local potente para asistentes de programación como Claude Code o Codex CLI sin enviar código a la nube.
  • Mantener documentos privados o el historial de chat en tu propio equipo sin renunciar a usar un modelo grande.
  • Conectar aplicaciones existentes compatibles con OpenAI a un endpoint local para usarlas sin conexión o de forma privada.
  • Evaluar el rendimiento de un modelo MoE grande en tu propia GPU de consumo.

Inicio rápido

  1. 1

    Descarga la aplicación Strata para tu sistema desde la página de versiones

  2. 2

    Instala Terminal en Linux o Mac

    Instálalo siguiendo las instrucciones oficiales del README
  3. 3

    Instala Terminal en Windows (PowerShell)

    Instálalo siguiendo las instrucciones oficiales del README
  4. 4

    Inicia Strata con la configuración guiada

    strata launch

Antes de usarlo

  • Necesita al menos 32 GB de RAM y memoria gráfica en total, y unos 80 GB de espacio libre en disco.
  • La descarga del modelo es grande: unos 40-70 GB.
  • Es una versión beta preliminar (versión 0.2.0-beta), así que puede haber aspectos poco pulidos.
  • Algunas tarjetas AMD aún no tienen una aplicación lista para usar, y la compatibilidad con Intel Arc y Mac es limitada para algunos modelos.

Temas

#llm#local-inference#gpu#quantization#openai-compatible#moe#llama-cpp#self-hosted

Preguntas frecuentes

¿Qué es Strata?
Motor de inferencia local que ejecuta el gran modelo Qwen3.8-Flash-Next en GPU NVIDIA o AMD de consumo con Windows o Linux, mediante APIs compatibles con OpenAI y Anthropic. Strata es un motor de inferencia local que ejecuta Qwen3.8-Flash-Next, un modelo muy grande que normalmente se sirve desde hardware de centros de datos, en una PC gaming común. Requiere una tarjeta gráfica NVIDIA o AMD con al menos 12 GB de VRAM, 32 GB de RAM o más y Windows 10/11 o Linux. Un instalador detecta el hardware, recomienda un tamaño de modelo que se ajuste a la memoria disponible, descarga el modelo e inicia un servidor local.
¿Strata es gratuito? ¿Qué licencia tiene?
Strata es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Strata sigue mantenido?
Mantenimiento activo. El último commit de Strata fue el 19 oct 2026.
¿Para qué puedo usar Strata?
Ejecutar un modelo local potente para asistentes de programación como Claude Code o Codex CLI sin enviar código a la nube. Mantener documentos privados o el historial de chat en tu propio equipo sin renunciar a usar un modelo grande. Conectar aplicaciones existentes compatibles con OpenAI a un endpoint local para usarlas sin conexión o de forma privada. Evaluar el rendimiento de un modelo MoE grande en tu propia GPU de consumo.
¿Cómo se instala Strata?
Descarga la aplicación Strata para tu sistema desde la página de versiones Instala Terminal en Linux o Mac Instala Terminal en Windows (PowerShell) Inicia Strata con la configuración guiada: strata launch
¿Dónde consigo Strata?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Niko1221/Strata

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados