Repolode
Enviar
simplexai-labs

simplexai-labs/PolyStrata

Execute LLMs open-weight de grande porte, como Qwen3.6, GLM 5.3 Flash e Gemma 4, no seu próprio PC NVIDIA ou AMD e disponibilize APIs compatíveis com OpenAI e Anthropic no localhost.

Ver no GitHub
Estrelas
891
Forks
126
Issues abertas
15
Último commit
anteontem

O que é?

PolyStrata é uma configuração de inferência local para modelos de linguagem GGUF de grande porte em hardware de consumo. Executa doze modelos em dois engines: Qwen3.8-Flash-Next no engine Strata, para placas NVIDIA ou AMD com 12 GB ou mais, e outros onze modelos (incluindo GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 e MiniCPM-V) em um engine específico do PolyStrata. Os arquivos dos modelos são grandes e a maior parte dos pesos fica na RAM do sistema, enquanto a GPU mantém as partes usadas com frequência.

O projeto oferece um instalador de um clique para Windows (START-HERE.bat) e Linux (setup.sh), além de uma versão para Mac com Qwen3.8-Flash-Next em Apple Silicon. O instalador detecta a placa de vídeo e a RAM, recomenda o tamanho do modelo e o comprimento do contexto, baixa o modelo e inicia um servidor local em 127.0.0.1:8080. O servidor disponibiliza um endpoint compatível com OpenAI em /v1 e um endpoint no estilo Anthropic em /v1/messages, além de incluir um chat no navegador e um monitor em tempo real.

A documentação apresenta resultados de benchmark por modelo e hardware, incluindo tokens por segundo para respostas e leitura de prompts, e informa que os modelos do engine PolyStrata são experimentais.

Recursos principais

  • 01Executa doze modelos open-weight de grande porte, incluindo GLM 5.3 Flash, DeepSeek V4 Flash e Qwen3.6, em hardware local.
  • 02Instaladores de um clique para Windows e Linux que escolhem o tamanho do modelo de acordo com a GPU e a RAM.
  • 03Disponibiliza APIs compatíveis com OpenAI e no estilo Anthropic no localhost para apps e agentes de programação.
  • 04Inclui uma interface de chat no navegador e um monitor em tempo real do uso de GPU, CPU e RAM.
  • 05Oferece suporte a configurações com várias GPUs e entrada de imagem opcional em vários modelos.

Casos de uso

  • Executar um assistente de programação avançado, como Claude Code, com um modelo que permanece na sua própria máquina.
  • Conversar com modelos de grande porte com privacidade quando APIs na nuvem não forem uma opção.
  • Testar modelos MoE de grande porte em uma única GPU voltada para jogos, com bastante RAM no sistema.
  • Direcionar apps existentes baseados em OpenAI ou Anthropic para um endpoint local sem alterar o código.

Início rápido

  1. 1

    Baixe o PolyStrata do GitHub como um arquivo ZIP ou clone o repositório

  2. 2

    No Windows, clique duas vezes em START-HERE.bat na pasta PolyStrata

  3. 3

    No Linux, execute o script de configuração na pasta PolyStrata

    ./setup.sh
  4. 4

    Aguarde o download e a inicialização do modelo e, em seguida, abra http://127.0.0.1:8080

Antes de usar

  • A maioria dos modelos precisa de uma placa de vídeo NVIDIA ou AMD com pelo menos 8 a 12 GB de VRAM.
  • Onze dos doze modelos são executados em um mecanismo experimental, e GLM 5.3 Flash e DeepSeek V4 Flash precisam de uma placa de 32 GB e Linux.
  • Os downloads dos modelos são grandes, de 11 GB a 114 GB, e a primeira inicialização pode travar o PC por 1 a 3 minutos.

Em coleções

Apps auto-hospedadosRode LLMs localmente

Tópicos

#local-llm#inference-engine#llm#gguf#openai-api#anthropic-api#cuda#self-hosted#gemma#glm

Perguntas frequentes

O que é PolyStrata?
Execute LLMs open-weight de grande porte, como Qwen3.6, GLM 5.3 Flash e Gemma 4, no seu próprio PC NVIDIA ou AMD e disponibilize APIs compatíveis com OpenAI e Anthropic no localhost. PolyStrata é uma configuração de inferência local para modelos de linguagem GGUF de grande porte em hardware de consumo. Executa doze modelos em dois engines: Qwen3.8-Flash-Next no engine Strata, para placas NVIDIA ou AMD com 12 GB ou mais, e outros onze modelos (incluindo GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Gemma 4 e MiniCPM-V) em um engine específico do PolyStrata. Os arquivos dos modelos são grandes e a maior parte dos pesos fica na RAM do sistema, enquanto a GPU mantém as partes usadas com frequência.
PolyStrata é gratuito? Qual é a licença?
PolyStrata é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
PolyStrata ainda é mantido?
Manutenção ativa. O último commit de PolyStrata foi em 5 de nov. de 2026.
Para que posso usar PolyStrata?
Executar um assistente de programação avançado, como Claude Code, com um modelo que permanece na sua própria máquina. Conversar com modelos de grande porte com privacidade quando APIs na nuvem não forem uma opção. Testar modelos MoE de grande porte em uma única GPU voltada para jogos, com bastante RAM no sistema. Direcionar apps existentes baseados em OpenAI ou Anthropic para um endpoint local sem alterar o código.
Como instalar PolyStrata?
Baixe o PolyStrata do GitHub como um arquivo ZIP ou clone o repositório No Windows, clique duas vezes em START-HERE.bat na pasta PolyStrata No Linux, execute o script de configuração na pasta PolyStrata: ./setup.sh Aguarde o download e a inicialização do modelo e, em seguida, abra http://127.0.0.1:8080
Onde consigo PolyStrata?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/simplexai-labs/PolyStrata

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados