Repolode
Enviar
professorpalmer

professorpalmer/mirai-s-ada

Configuración para servir Mirai S 27B (un Qwen3.8-27B GGUF) en una RTX 4070 de 12 GB, con una ventana completa de 262k tokens y caché K/V q8_0.

Ver en GitHub
Estrellas
101
Forks
10
Issues abiertos
0
Último commit
hace 15 horas

¿Qué es?

Este repositorio ofrece una configuración local para servir Mirai S 27B, un modelo basado en Qwen3.8-27B, en una GPU de consumo con 12 GB de VRAM. Utiliza una conversión GGUF del modelo con los pesos intactos e incluye un lanzador para Windows y un script `start-server.sh` para Linux.

La configuración busca mantener utilizable la ventana de contexto completa de 262 144 tokens en una tarjeta de 12 GB mediante una caché K/V q8_0 y un esquema de caché por niveles. También habilita la generación de borradores MTP en todas las profundidades de contexto. El proyecto publica mediciones de velocidad de decodificación con varias longitudes de contexto, además de resultados de HumanEval y AppWorld.

Incluye una capa opcional de agentes para ejecutar el modelo en flujos de trabajo con agentes, y documenta los pasos de compilación, los ajustes, las limitaciones conocidas y los datos de benchmarks guardados.

Funciones clave

  • 01Ejecuta una ventana de contexto de 262 144 tokens en una RTX 4070 de 12 GB con una caché K/V q8_0.
  • 02Utiliza la generación de borradores MTP en todas las profundidades de contexto.
  • 03Incluye un lanzador para Windows y un script de inicio para Linux.
  • 04Incluye una capa opcional de agentes para flujos de trabajo con agentes.
  • 05Publica resultados de velocidad de decodificación y benchmarks con varias longitudes de contexto.

Casos de uso

  • Ejecutar un LLM local de gran tamaño con contexto largo en una sola GPU de consumo con 12 GB.
  • Experimentar con flujos de trabajo con agentes y contexto largo en hardware local.
  • Reproducir las mediciones publicadas de velocidad y calidad en hardware similar.

Inicio rápido

  1. 1

    Lee la guía de configuración para Windows y Linux

  2. 2

    Ejecuta el script del servidor de Linux

    start-server.sh

Antes de usarlo

  • Está diseñado específicamente para una RTX 4070 de 12 GB; las mediciones del README no cubren otro hardware.
  • Usa la licencia NOASSERTION, por lo que las condiciones de licencia no están claras y deben comprobarse antes de usarlo.
  • Depende de una conversión GGUF de terceros y de un modelo upstream experimental.

Temas

#llm#gguf#local-inference#quantization#long-context#llama-cpp#gpu

Preguntas frecuentes

¿Qué es mirai-s-ada?
Configuración para servir Mirai S 27B (un Qwen3.8-27B GGUF) en una RTX 4070 de 12 GB, con una ventana completa de 262k tokens y caché K/V q8_0. Este repositorio ofrece una configuración local para servir Mirai S 27B, un modelo basado en Qwen3.8-27B, en una GPU de consumo con 12 GB de VRAM. Utiliza una conversión GGUF del modelo con los pesos intactos e incluye un lanzador para Windows y un script `start-server.sh` para Linux.
¿mirai-s-ada es gratuito? ¿Qué licencia tiene?
mirai-s-ada es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿mirai-s-ada sigue mantenido?
Mantenimiento activo. El último commit de mirai-s-ada fue el 20 oct 2026.
¿Para qué puedo usar mirai-s-ada?
Ejecutar un LLM local de gran tamaño con contexto largo en una sola GPU de consumo con 12 GB. Experimentar con flujos de trabajo con agentes y contexto largo en hardware local. Reproducir las mediciones publicadas de velocidad y calidad en hardware similar.
¿Cómo se instala mirai-s-ada?
Lee la guía de configuración para Windows y Linux Ejecuta el script del servidor de Linux: start-server.sh
¿Dónde consigo mirai-s-ada?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/professorpalmer/mirai-s-ada

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados