Лаунчер и сборка llama.cpp с патчами для запуска 1,58-битной модели Ternary Bonsai 2 27B с контекстом 262k на NVIDIA GPU с 12 и 8 ГБ памяти.
796PythonOtherОбновлён 6 часов назад
#long-context
Open source проекты по теме «long-context»
Отобранные репозитории GitHub по теме long-context с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозиторияСбросить фильтры
Настройка для запуска Mirai S 27B (Qwen3.8-27B в формате GGUF) на RTX 4070 с 12 ГБ памяти, с окном контекста на 262 тыс. токенов и K/V-кэшем q8_0.
10110PythonOtherОбновлён 8 часов назад