Repolode
Enviar
professorpalmer

professorpalmer/bonsai-ada-surgery

Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB.

Ver no GitHubSite
Estrelas
82
Forks
6
Issues abertas
4
Último commit
há 16 horas

O que é?

O Ternary Bonsai 2 27B é um modelo ternário de 1,58 bit distribuído no formato PTQ1_0, com cerca de 5,9 GB. Este projeto o executa em placas NVIDIA de consumo com a janela de contexto completa de 262.144 tokens, usando uma versão corrigida do llama.cpp da PrismML e um inicializador que ajusta o cache K/V à memória da placa: q4_0 em placas de 12 GB e q3_0 em placas de 8 GB.

O repositório adiciona geração preliminar MTP para decodificação especulativa, chamadas de ferramentas com restrições de gramática e uma camada opcional para agentes que inclui uma API compatível com OpenAI e execução de Python em sandbox. Os pesos do modelo não foram alterados. Há um pacote para Windows com um script de inicialização em PowerShell; as instruções para Linux e para compilar a partir do código-fonte estão documentadas separadamente.

A documentação inclui logs de benchmark da velocidade de decodificação em diferentes profundidades de contexto, throughput de prefill e resultados do HumanEval em uma RTX 4070 e uma RTX 2060 SUPER.

Recursos principais

  • 01Executa a janela de contexto de 262.144 tokens em placas NVIDIA de 12 GB e 8 GB.
  • 02Ajusta automaticamente o cache K/V para cada placa, usando q4_0 ou q3_0.
  • 03Disponibiliza uma API compatível com OpenAI na porta 8080.
  • 04Adiciona geração preliminar MTP para decodificação especulativa.
  • 05Oferece suporte a chamadas de ferramentas com restrições de gramática.
  • 06Inclui um pacote para Windows com um inicializador em PowerShell.

Casos de uso

  • Executar um LLM local com contexto longo em uma GPU de consumo de 12 GB.
  • Disponibilizar um endpoint local compatível com OpenAI para ferramentas de programação ou agentes em uma placa RTX de 8 GB.
  • Comparar em benchmark as velocidades de decodificação e prefill do modelo ternário em diferentes profundidades de contexto.

Início rápido

  1. 1

    Baixe o ZIP do bundle em Releases e extraia-o no repositório

  2. 2

    Coloque o modelo GGUF e o arquivo MTP head na pasta models

  3. 3

    Inicie o servidor; a API compatível com OpenAI é executada na porta 8080

    .\start-server.ps1

Antes de usar

  • O guia de início rápido é para Windows com GPU NVIDIA; no Linux, é necessário consultar um guia separado em docs/build.
  • É necessária uma placa NVIDIA com 8 GB ou mais de VRAM para executar a janela de contexto completa.
  • A licença está listada como NOASSERTION, então os termos de licença do repositório não estão claros; o README informa que o código próprio usa a licença MIT.

Tópicos

#local-llm#quantization#llama-cpp#cuda#speculative-decoding#long-context#ternary#bonsai#qwen#rtx-4070

Perguntas frequentes

O que é bonsai-ada-surgery?
Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB. O Ternary Bonsai 2 27B é um modelo ternário de 1,58 bit distribuído no formato PTQ1_0, com cerca de 5,9 GB. Este projeto o executa em placas NVIDIA de consumo com a janela de contexto completa de 262.144 tokens, usando uma versão corrigida do llama.cpp da PrismML e um inicializador que ajusta o cache K/V à memória da placa: q4_0 em placas de 12 GB e q3_0 em placas de 8 GB.
bonsai-ada-surgery é gratuito? Qual é a licença?
bonsai-ada-surgery é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
bonsai-ada-surgery ainda é mantido?
Manutenção ativa. O último commit de bonsai-ada-surgery foi em 20 de out. de 2026.
Para que posso usar bonsai-ada-surgery?
Executar um LLM local com contexto longo em uma GPU de consumo de 12 GB. Disponibilizar um endpoint local compatível com OpenAI para ferramentas de programação ou agentes em uma placa RTX de 8 GB. Comparar em benchmark as velocidades de decodificação e prefill do modelo ternário em diferentes profundidades de contexto.
Como instalar bonsai-ada-surgery?
Baixe o ZIP do bundle em Releases e extraia-o no repositório Coloque o modelo GGUF e o arquivo MTP head na pasta models Inicie o servidor; a API compatível com OpenAI é executada na porta 8080: .\start-server.ps1
Onde consigo bonsai-ada-surgery?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/professorpalmer/bonsai-ada-surgery

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados