Сервер инференса LLM на Rust для MoE-моделей, не помещающихся в память GPU; совместим с API llama-server и работает на NVIDIA GPU и Apple Silicon.
607RustMITАктивно поддерживаетсяОбновлён 17 часов назад
wici-ai/inferssd
Запускает большие GGUF-модели типа mixture-of-experts, подгружая веса экспертов с SSD; создан на базе llama.cpp и подходит для машин, которым не хватает RAM или VRAM.
- Звёзды
- 340
- Форки
- 53
- Открытые issues
- 8
- Последний коммит
- 17 часов назад
Что это?
InferSSD — движок для инференса больших языковых моделей типа mixture-of-experts (MoE), которым не хватает RAM или VRAM машины. Он создан на базе llama.cpp, загружает стандартные файлы GGUF и по мере необходимости подгружает веса экспертов с SSD, вместо того чтобы держать всю модель в памяти.
В проекте есть чат в терминале (`inferssd cli`) и серверный режим (`inferssd serve`) с веб-интерфейсом чата в браузере и API, совместимым с OpenAI. Сейчас поддерживаются DeepSeek-V4.1-Flash-1017 и Muse-Spark-Open. Проект работает на macOS с Apple Silicon и Metal, а также на Linux с NVIDIA CUDA. Поддержка Windows пока в разработке.
Установка выполняется из исходного кода с помощью одного shell-скрипта, который собирает движок для локальных CPU и GPU; сборка занимает несколько минут. При первом запуске скачиваются файлы модели: для DeepSeek они занимают около 470 GiB. Их можно сохранить в выбранную директорию.
Ключевые возможности
- 01Запускает MoE-модели, размер которых превышает доступный объём RAM или VRAM, подгружая экспертов с SSD.
- 02Загружает стандартные файлы моделей GGUF на базе llama.cpp.
- 03Предоставляет чат в терминале и веб-интерфейс в браузере.
- 04Предоставляет локальный endpoint с API, совместимым с OpenAI.
- 05Поддерживает Apple Silicon (Metal) и Linux с NVIDIA CUDA.
Сценарии использования
- Запуск большой MoE-модели на ноутбуке или рабочей станции с ограниченным объёмом памяти.
- Развёртывание локального endpoint, совместимого с OpenAI, для инструментов, рассчитанных на OpenAI API.
- Эксперименты с инференсом с подгрузкой данных с SSD на потребительских GPU или устройствах с Apple Silicon.
Быстрый старт
- 1
Запустите официальный скрипт установки из README (сборка из исходного кода занимает от 2 до 12 минут).
- 2
Общайтесь с моделью в терминале.
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF - 3
Или запустите веб-интерфейс и API, совместимый с OpenAI, по адресу http://127.0.0.1:8080.
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
Что важно знать
- Поддерживаются только macOS на Apple Silicon и Linux с видеокартой NVIDIA; поддержка Windows пока находится в разработке.
- Предварительно собранных пакетов пока нет, поэтому во время установки программа компилируется на вашем компьютере.
- При первом запуске загружается около 470 GiB файлов модели.
- В Linux также необходимы CUDA Toolkit, заголовочные файлы liburing и systemd с cgroup v2.
В подборках
Темы
Частые вопросы
- Что такое inferssd?
- Запускает большие GGUF-модели типа mixture-of-experts, подгружая веса экспертов с SSD; создан на базе llama.cpp и подходит для машин, которым не хватает RAM или VRAM. InferSSD — движок для инференса больших языковых моделей типа mixture-of-experts (MoE), которым не хватает RAM или VRAM машины. Он создан на базе llama.cpp, загружает стандартные файлы GGUF и по мере необходимости подгружает веса экспертов с SSD, вместо того чтобы держать всю модель в памяти.
- inferssd можно использовать бесплатно? Какая у него лицензия?
- inferssd распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- inferssd всё ещё поддерживается?
- Активно поддерживается. Последний коммит в inferssd — 6 нояб. 2026 г..
- Для чего можно использовать inferssd?
- Запуск большой MoE-модели на ноутбуке или рабочей станции с ограниченным объёмом памяти. Развёртывание локального endpoint, совместимого с OpenAI, для инструментов, рассчитанных на OpenAI API. Эксперименты с инференсом с подгрузкой данных с SSD на потребительских GPU или устройствах с Apple Silicon.
- Как установить inferssd?
- Запустите официальный скрипт установки из README (сборка из исходного кода занимает от 2 до 12 минут). Общайтесь с моделью в терминале.: inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF Или запустите веб-интерфейс и API, совместимый с OpenAI, по адресу http://127.0.0.1:8080.: inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
- Где скачать inferssd?
- Исходный код и инструкции по установке — на GitHub: https://github.com/wici-ai/inferssd
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Нативный движок на Swift запускает 4-битную модель Qwen3.8-Flash-Next размером 105 ГБ на Mac с Apple Silicon и 16–64 ГБ памяти, подгружая экспертов с SSD.
652+24 за неделю54SwiftMITАктивно поддерживаетсяОбновлён позавчера
Локальный движок инференса LLM на Zig: запускает модели на Apple Silicon Metal и NVIDIA CUDA без Python и MLX.
1,7 тыс.+130 за неделю357ZigApache-2.0Активно поддерживаетсяОбновлён 13 часов назад
Движок инференса на Rust для запуска AI-моделей прямо в приложениях: на устройствах Apple — локально, также доступны облачные модели.
3,2 тыс.+138 за неделю222RustMITАктивно поддерживаетсяОбновлён 14 часов назад
Rust-биндинги для llama.cpp, позволяющие Rust-программам локально загружать и запускать языковые модели в формате GGUF через crate llama-cpp-2.
664261RustApache-2.0Активно поддерживаетсяОбновлён 3 дня назад
Утилита на Go для удалённого анализа файлов моделей GGUF и оценки потребления RAM/VRAM и максимальной скорости генерации токенов до скачивания.
310+1 за неделю31GoMITАктивно поддерживаетсяОбновлён 8 дней назад