Repolode
Предложить
professorpalmer

professorpalmer/bonsai-ada-surgery

Лаунчер и сборка llama.cpp с патчами для запуска 1,58-битной модели Ternary Bonsai 2 27B с контекстом 262k на NVIDIA GPU с 12 и 8 ГБ памяти.

Открыть на GitHubСайт
Звёзды
82
Форки
6
Открытые issues
4
Последний коммит
15 часов назад

Что это?

Ternary Bonsai 2 27B — это 1,58-битная тернарная модель в формате PTQ1_0 размером около 5,9 ГБ. Проект запускает её на потребительских NVIDIA-картах с полным окном контекста на 262 144 токена, используя сборку llama.cpp от PrismML с патчами и лаунчер, который подбирает размер K/V-кэша под видеокарту: q4_0 для 12 ГБ и q3_0 для 8 ГБ.

В репозитории добавлены генерация черновиков MTP для спекулятивного декодирования, вызовы инструментов с ограничениями грамматики и опциональный слой для агентов с API, совместимым с OpenAI, и изолированным выполнением Python-кода. Веса модели не изменены. В комплекте для Windows есть скрипт запуска PowerShell; инструкции по сборке для Linux и из исходников приведены отдельно.

В документации есть журналы бенчмарков скорости декодирования при разной глубине контекста, пропускной способности префилла и результатов HumanEval на RTX 4070 и RTX 2060 SUPER.

Ключевые возможности

  • 01Запускает окно контекста на 262 144 токена на NVIDIA-картах с 12 и 8 ГБ памяти.
  • 02Автоматически подбирает размер K/V-кэша для каждой карты, используя q4_0 или q3_0.
  • 03Предоставляет API, совместимый с OpenAI, на порту 8080.
  • 04Добавляет генерацию черновиков MTP для спекулятивного декодирования.
  • 05Поддерживает вызовы инструментов с ограничениями грамматики.
  • 06Включает комплект для Windows с лаунчером на PowerShell.

Сценарии использования

  • Запуск локальной LLM с большим контекстом на потребительском GPU с 12 ГБ памяти.
  • Развёртывание локального совместимого с OpenAI эндпоинта для работы с кодом или инструментами агентов на RTX-карте с 8 ГБ памяти.
  • Сравнение скорости декодирования и префилла тернарной модели при разной глубине контекста.

Быстрый старт

  1. 1

    Скачайте ZIP-архив bundle из раздела Releases и распакуйте его в репозиторий

  2. 2

    Поместите модель GGUF и файл MTP head в папку models

  3. 3

    Запустите сервер; API, совместимый с OpenAI, работает на порту 8080

    .\start-server.ps1

Что важно знать

  • Инструкция по быстрому запуску предназначена для Windows с графическими процессорами NVIDIA; для Linux требуется отдельное руководство в docs/build.
  • Для работы с полным контекстным окном требуется видеокарта NVIDIA с 8 ГБ VRAM или больше.
  • В качестве лицензии указано NOASSERTION, поэтому условия лицензии репозитория неясны; в README сказано, что для собственного кода используется лицензия MIT.

Темы

#local-llm#quantization#llama-cpp#cuda#speculative-decoding#long-context#ternary#bonsai#qwen#rtx-4070

Частые вопросы

Что такое bonsai-ada-surgery?
Лаунчер и сборка llama.cpp с патчами для запуска 1,58-битной модели Ternary Bonsai 2 27B с контекстом 262k на NVIDIA GPU с 12 и 8 ГБ памяти. Ternary Bonsai 2 27B — это 1,58-битная тернарная модель в формате PTQ1_0 размером около 5,9 ГБ. Проект запускает её на потребительских NVIDIA-картах с полным окном контекста на 262 144 токена, используя сборку llama.cpp от PrismML с патчами и лаунчер, который подбирает размер K/V-кэша под видеокарту: q4_0 для 12 ГБ и q3_0 для 8 ГБ.
bonsai-ada-surgery можно использовать бесплатно? Какая у него лицензия?
bonsai-ada-surgery распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
bonsai-ada-surgery всё ещё поддерживается?
Активно поддерживается. Последний коммит в bonsai-ada-surgery — 20 окт. 2026 г..
Для чего можно использовать bonsai-ada-surgery?
Запуск локальной LLM с большим контекстом на потребительском GPU с 12 ГБ памяти. Развёртывание локального совместимого с OpenAI эндпоинта для работы с кодом или инструментами агентов на RTX-карте с 8 ГБ памяти. Сравнение скорости декодирования и префилла тернарной модели при разной глубине контекста.
Как установить bonsai-ada-surgery?
Скачайте ZIP-архив bundle из раздела Releases и распакуйте его в репозиторий Поместите модель GGUF и файл MTP head в папку models Запустите сервер; API, совместимый с OpenAI, работает на порту 8080: .\start-server.ps1
Где скачать bonsai-ada-surgery?
Исходный код и инструкции по установке — на GitHub: https://github.com/professorpalmer/bonsai-ada-surgery

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты