Repolode
Enviar
professorpalmer

professorpalmer/mirai-s-ada

Configuração para servir o Mirai S 27B (um Qwen3.8-27B em GGUF) em uma RTX 4070 de 12 GB, com janela completa de 262 mil tokens e cache K/V q8_0.

Ver no GitHub
Estrelas
101
Forks
10
Issues abertas
0
Último commit
há 15 horas

O que é?

Este repositório oferece uma configuração local para servir o Mirai S 27B, um modelo baseado no Qwen3.8-27B, em uma única GPU de consumo com 12 GB de VRAM. Ele usa uma conversão do modelo para GGUF, com os pesos inalterados, e inclui um launcher para Windows e um script `start-server.sh` para Linux.

A configuração busca manter utilizável a janela completa de contexto de 262.144 tokens em uma placa de 12 GB, usando um cache K/V q8_0 e um esquema de cache em níveis. Ela também habilita o MTP drafting em diferentes profundidades de contexto. O projeto publica medições de velocidade de decodificação para vários comprimentos de contexto, além de resultados do HumanEval e do AppWorld.

O projeto também inclui uma camada opcional de agentes para executar o modelo em fluxos de trabalho com agentes, e documenta as etapas de build, as configurações, as limitações conhecidas e os dados de benchmark salvos.

Recursos principais

  • 01Executa uma janela de contexto de 262.144 tokens em uma RTX 4070 de 12 GB, com cache K/V q8_0.
  • 02Usa MTP drafting em todas as profundidades de contexto.
  • 03Oferece um launcher para Windows e um script de inicialização para Linux.
  • 04Inclui uma camada opcional de agentes para fluxos de trabalho com agentes.
  • 05Publica resultados de velocidade de decodificação e benchmarks para vários comprimentos de contexto.

Casos de uso

  • Executar um LLM local de grande porte com contexto longo em uma única GPU de consumo com 12 GB.
  • Experimentar fluxos de trabalho com agentes e contexto longo em hardware local.
  • Reproduzir as medições publicadas de velocidade e qualidade em hardware semelhante.

Início rápido

  1. 1

    Leia o guia de configuração para Windows e Linux

  2. 2

    Execute o script do servidor Linux

    start-server.sh

Antes de usar

  • É voltado especificamente para uma RTX 4070 de 12 GB; as medições do README não abrangem outros hardwares.
  • Usa a licença NOASSERTION, portanto os termos da licença não estão claros e precisam ser verificados antes do uso.
  • Depende de uma conversão GGUF de terceiros e de um modelo upstream experimental.

Tópicos

#llm#gguf#local-inference#quantization#long-context#llama-cpp#gpu

Perguntas frequentes

O que é mirai-s-ada?
Configuração para servir o Mirai S 27B (um Qwen3.8-27B em GGUF) em uma RTX 4070 de 12 GB, com janela completa de 262 mil tokens e cache K/V q8_0. Este repositório oferece uma configuração local para servir o Mirai S 27B, um modelo baseado no Qwen3.8-27B, em uma única GPU de consumo com 12 GB de VRAM. Ele usa uma conversão do modelo para GGUF, com os pesos inalterados, e inclui um launcher para Windows e um script `start-server.sh` para Linux.
mirai-s-ada é gratuito? Qual é a licença?
mirai-s-ada é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
mirai-s-ada ainda é mantido?
Manutenção ativa. O último commit de mirai-s-ada foi em 20 de out. de 2026.
Para que posso usar mirai-s-ada?
Executar um LLM local de grande porte com contexto longo em uma única GPU de consumo com 12 GB. Experimentar fluxos de trabalho com agentes e contexto longo em hardware local. Reproduzir as medições publicadas de velocidade e qualidade em hardware semelhante.
Como instalar mirai-s-ada?
Leia o guia de configuração para Windows e Linux Execute o script do servidor Linux: start-server.sh
Onde consigo mirai-s-ada?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/professorpalmer/mirai-s-ada

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados