Conecta un iPhone a un Mac por USB-C para que la GPU del teléfono ayude a ejecutar localmente un modelo Qwen 27B y agilice la lectura de prompts y amplíe el contexto.
1,1 mil120PythonMITActualizado hace 7 días
professorpalmer/bonsai-ada-surgery
Un launcher y una configuración de llama.cpp con parches para ejecutar el modelo ternario de 1,58 bits Ternary Bonsai 2 27B con un contexto de 262k en GPU NVIDIA de 12 GB y 8 GB.
- Estrellas
- 82
- Forks
- 6
- Issues abiertos
- 4
- Último commit
- hace 11 horas
¿Qué es?
Ternary Bonsai 2 27B es un modelo ternario de 1,58 bits distribuido en formato PTQ1_0 y ocupa unos 5,9 GB. Este proyecto lo ejecuta en tarjetas NVIDIA de consumo con toda la ventana de contexto de 262.144 tokens, mediante una compilación de llama.cpp de PrismML con parches y un launcher que ajusta la caché K/V a la tarjeta: q4_0 para 12 GB y q3_0 para 8 GB.
El repositorio añade generación de borradores MTP para decodificación especulativa, llamadas a herramientas restringidas por gramática y una capa opcional para agentes que incluye una API compatible con OpenAI y ejecución de Python en un entorno aislado. Los pesos del modelo no se modifican. Se ofrece un paquete para Windows con un script de inicio de PowerShell, y la documentación de las compilaciones para Linux y desde el código fuente se presenta por separado.
La documentación incluye registros de benchmarks de velocidad de decodificación con distintas profundidades de contexto, rendimiento de prefill y resultados de HumanEval en una RTX 4070 y una RTX 2060 SUPER.
Funciones clave
- 01Ejecuta la ventana de contexto de 262.144 tokens en tarjetas NVIDIA de 12 GB y 8 GB.
- 02Ajusta automáticamente la caché K/V según la tarjeta, con q4_0 o q3_0.
- 03Ofrece una API compatible con OpenAI en el puerto 8080.
- 04Añade generación de borradores MTP para decodificación especulativa.
- 05Admite llamadas a herramientas restringidas por gramática.
- 06Incluye un paquete para Windows con un launcher de PowerShell.
Casos de uso
- Ejecutar un LLM local con contexto largo en una GPU de consumo de 12 GB.
- Ofrecer un endpoint local compatible con OpenAI para programación o herramientas de agentes en una tarjeta RTX de 8 GB.
- Comparar la velocidad de decodificación y prefill de un modelo ternario con distintas profundidades de contexto.
Inicio rápido
- 1
Descarga el ZIP del bundle desde Releases y descomprímelo en el repositorio
- 2
Coloca el modelo GGUF y el archivo MTP head en la carpeta models
- 3
Inicia el servidor; la API compatible con OpenAI se ejecuta en el puerto 8080
.\start-server.ps1
Antes de usarlo
- La guía de inicio rápido es para Windows con GPU NVIDIA; para Linux se necesita una guía aparte, en docs/build.
- Se necesita una tarjeta NVIDIA con 8 GB o más de VRAM para ejecutar la ventana de contexto completa.
- La licencia figura como NOASSERTION, por lo que las condiciones de licencia del repositorio no están claras; el README indica que su propio código usa la licencia MIT.
Temas
Preguntas frecuentes
- ¿Qué es bonsai-ada-surgery?
- Un launcher y una configuración de llama.cpp con parches para ejecutar el modelo ternario de 1,58 bits Ternary Bonsai 2 27B con un contexto de 262k en GPU NVIDIA de 12 GB y 8 GB. Ternary Bonsai 2 27B es un modelo ternario de 1,58 bits distribuido en formato PTQ1_0 y ocupa unos 5,9 GB. Este proyecto lo ejecuta en tarjetas NVIDIA de consumo con toda la ventana de contexto de 262.144 tokens, mediante una compilación de llama.cpp de PrismML con parches y un launcher que ajusta la caché K/V a la tarjeta: q4_0 para 12 GB y q3_0 para 8 GB.
- ¿bonsai-ada-surgery es gratuito? ¿Qué licencia tiene?
- bonsai-ada-surgery es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿bonsai-ada-surgery sigue mantenido?
- Mantenimiento activo. El último commit de bonsai-ada-surgery fue el 20 oct 2026.
- ¿Para qué puedo usar bonsai-ada-surgery?
- Ejecutar un LLM local con contexto largo en una GPU de consumo de 12 GB. Ofrecer un endpoint local compatible con OpenAI para programación o herramientas de agentes en una tarjeta RTX de 8 GB. Comparar la velocidad de decodificación y prefill de un modelo ternario con distintas profundidades de contexto.
- ¿Cómo se instala bonsai-ada-surgery?
- Descarga el ZIP del bundle desde Releases y descomprímelo en el repositorio Coloca el modelo GGUF y el archivo MTP head en la carpeta models Inicia el servidor; la API compatible con OpenAI se ejecuta en el puerto 8080: .\start-server.ps1
- ¿Dónde consigo bonsai-ada-surgery?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/professorpalmer/bonsai-ada-surgery
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar modelos abiertos más rápido en Apple Silicon, NVIDIA, AMD o CPU.
7,2 mil494RustApache-2.0Actualizado anteayer
Configuración para servir Mirai S 27B (un Qwen3.8-27B GGUF) en una RTX 4070 de 12 GB, con una ventana completa de 262k tokens y caché K/V q8_0.
10110PythonOtherActualizado hace 11 horas
Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado hace 5 horas
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado hace 5 horas
Aplicación de escritorio gratuita y de código abierto para ejecutar LLM localmente, con una interfaz de chat y una API compatible con OpenAI y Anthropic.
47,7 mil6 milPythonAGPL-3.0Actualizado hace 2 meses