Repolode
Предложить
professorpalmer

professorpalmer/mirai-s-ada

Настройка для запуска Mirai S 27B (Qwen3.8-27B в формате GGUF) на RTX 4070 с 12 ГБ памяти, с окном контекста на 262 тыс. токенов и K/V-кэшем q8_0.

Открыть на GitHub
Звёзды
101
Форки
10
Открытые issues
0
Последний коммит
15 часов назад

Что это?

В этом репозитории собрана настройка для локального запуска Mirai S 27B — модели на базе Qwen3.8-27B — на одной потребительской видеокарте с 12 ГБ видеопамяти. Используется конверсия модели в GGUF без изменения весов; для Windows предусмотрен лаунчер, а для Linux — скрипт `start-server.sh`.

Настройка позволяет использовать всё окно контекста на 262 144 токена на видеокарте с 12 ГБ памяти благодаря K/V-кэшу q8_0 и многоуровневой схеме кэширования. Также включено MTP-черновое декодирование на любой глубине контекста. В проекте приведены замеры скорости декодирования при нескольких размерах контекста, а также результаты HumanEval и AppWorld.

Для запуска модели в агентных сценариях предусмотрен дополнительный слой agents. В репозитории также описаны сборка и настройки, известные ограничения и сохранённые данные бенчмарков.

Ключевые возможности

  • 01Работа с окном контекста на 262 144 токена на RTX 4070 с 12 ГБ памяти и K/V-кэшем q8_0.
  • 02Использование MTP-чернового декодирования на любой глубине контекста.
  • 03Лаунчер для Windows и скрипт запуска для Linux.
  • 04Дополнительный слой agents для агентных сценариев.
  • 05Публикация замеров скорости декодирования и результатов бенчмарков при нескольких размерах контекста.

Сценарии использования

  • Запуск большой локальной LLM с длинным контекстом на одной потребительской видеокарте с 12 ГБ памяти.
  • Эксперименты с агентными сценариями с длинным контекстом на локальном оборудовании.
  • Воспроизведение опубликованных замеров скорости и качества на аналогичном оборудовании.

Быстрый старт

  1. 1

    Прочитайте руководство по настройке для Windows и Linux

  2. 2

    Запустите скрипт сервера Linux

    start-server.sh

Что важно знать

  • Рассчитан специально на RTX 4070 с 12 ГБ памяти; измерения в README не охватывают другое оборудование.
  • Используется лицензия NOASSERTION, поэтому условия лицензирования неясны и их нужно проверить перед использованием.
  • Зависит от сторонней конвертации в GGUF и экспериментальной upstream-модели.

Темы

#llm#gguf#local-inference#quantization#long-context#llama-cpp#gpu

Частые вопросы

Что такое mirai-s-ada?
Настройка для запуска Mirai S 27B (Qwen3.8-27B в формате GGUF) на RTX 4070 с 12 ГБ памяти, с окном контекста на 262 тыс. токенов и K/V-кэшем q8_0. В этом репозитории собрана настройка для локального запуска Mirai S 27B — модели на базе Qwen3.8-27B — на одной потребительской видеокарте с 12 ГБ видеопамяти. Используется конверсия модели в GGUF без изменения весов; для Windows предусмотрен лаунчер, а для Linux — скрипт `start-server.sh`.
mirai-s-ada можно использовать бесплатно? Какая у него лицензия?
mirai-s-ada распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
mirai-s-ada всё ещё поддерживается?
Активно поддерживается. Последний коммит в mirai-s-ada — 20 окт. 2026 г..
Для чего можно использовать mirai-s-ada?
Запуск большой локальной LLM с длинным контекстом на одной потребительской видеокарте с 12 ГБ памяти. Эксперименты с агентными сценариями с длинным контекстом на локальном оборудовании. Воспроизведение опубликованных замеров скорости и качества на аналогичном оборудовании.
Как установить mirai-s-ada?
Прочитайте руководство по настройке для Windows и Linux Запустите скрипт сервера Linux: start-server.sh
Где скачать mirai-s-ada?
Исходный код и инструкции по установке — на GitHub: https://github.com/professorpalmer/mirai-s-ada

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

mozilla-ai / llamafile

Распространяет и запускает открытые LLM в виде одного исполняемого файла, который работает в большинстве операционных систем и на большинстве архитектур CPU без установки.

ИИ и машинное обучение#llm#local-inference#gguf
26,4 тыс.1,8 тыс.C++OtherОбновлён 9 дней назад