drumih/turbo-fieldfare

Что это?

Ключевые возможности

• 01Подгружает выбранных экспертов с SSD через ограниченный кэш, удерживая в памяти около 2 ГБ весов и KV-кэша.
• 02Работает на Mac с Apple Silicon и 8 ГБ RAM; это проверено на MacBook Air M2 с 8 ГБ памяти.
• 03Включает нативное приложение для Mac, CLI и совместимый с OpenAI сервер Chat Completions, доступный только через loopback.
• 04Потоковый установщик упаковывает чекпойнт с Hugging Face напрямую, не создавая на диске полной промежуточной копии.
• 05Сервер поддерживает объявления инструментов; вызовы инструментов возвращаются клиенту для выполнения.
• 06Дополнительный комплект добавляет поддержку ввода изображений на чипах M2 и новее.

Сценарии использования

• Запуск крупной модели Gemma локально на базовом MacBook с 8 ГБ памяти без доступа к облаку.
• Эксперименты с потоковой подгрузкой экспертов и проектированием ядер Metal на Apple Silicon.
• Запуск локальной конечной точки, совместимой с OpenAI, для инструментов, рассчитанных на Chat Completions API.
• Общение с приватной моделью, работающей на устройстве, через нативное приложение для Mac.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/drumih/turbo-fieldfare.git
2. 2

   Перейдите в каталог проекта

   cd turbo-fieldfare
3. 3

   Соберите релизную версию

   swift build -c release
4. 4

   Запустите приложение для Mac, затем скачайте и загрузите модель в нём

   .build/release/TurboFieldfareMac

Что важно знать

• !Требуется Mac с Apple Silicon под управлением macOS 26 и поддержкой Metal 4. Mac с процессорами Intel и более старые версии macOS не поддерживаются.
• !При первом запуске загружается и устанавливается около 15 GB весов модели.
• !Производительность сильно зависит от оборудования; на M2 с 8 GB она низкая (около 5–6 tok/s).
• !У локального сервера нет удалённой аутентификации и TLS, поэтому он должен быть доступен только через loopback.

Темы

Частые вопросы

Что такое turbo-fieldfare?

Среда выполнения на Swift и Metal запускает модель Gemma 4 26B-A4B на Mac с Apple Silicon и примерно 2 ГБ RAM, подгружая экспертов с SSD. TurboFieldfare запускает дообученную для следования инструкциям модель Gemma 4 26B-A4B, не загружая в память все 14,3 ГБ весов. Общие веса модели и KV-кэш в формате FP16 постоянно находятся в памяти, а с SSD подгружаются только эксперты, выбранные для каждого токена, через ограниченный кэш экспертов. Благодаря этому модель работает на Mac с Apple Silicon и 8 ГБ RAM.

turbo-fieldfare можно использовать бесплатно? Какая у него лицензия?

turbo-fieldfare распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

turbo-fieldfare всё ещё поддерживается?

Активно поддерживается. Последний коммит в turbo-fieldfare — 15 окт. 2026 г..

Для чего можно использовать turbo-fieldfare?

Запуск крупной модели Gemma локально на базовом MacBook с 8 ГБ памяти без доступа к облаку. Эксперименты с потоковой подгрузкой экспертов и проектированием ядер Metal на Apple Silicon. Запуск локальной конечной точки, совместимой с OpenAI, для инструментов, рассчитанных на Chat Completions API. Общение с приватной моделью, работающей на устройстве, через нативное приложение для Mac.

Как установить turbo-fieldfare?

Клонируйте репозиторий: git clone https://github.com/drumih/turbo-fieldfare.git Перейдите в каталог проекта: cd turbo-fieldfare Соберите релизную версию: swift build -c release Запустите приложение для Mac, затем скачайте и загрузите модель в нём: .build/release/TurboFieldfareMac

Где скачать turbo-fieldfare?

Исходный код и инструкции по установке — на GitHub: https://github.com/drumih/turbo-fieldfare