RightNow-AI/picolm

Что это?

Ключевые возможности

• 01Загружает файлы моделей GGUF v2/v3 напрямую, без конвертации
• 02Поддерживает квантование от Q2_K до Q8_0, а также веса F16 и F32
• 03Отображает веса модели в память, поэтому одновременно в RAM находится только её часть
• 04Вывод JSON с ограничением по грамматике через `--json` для надёжных структурированных ответов
• 05Сохраняет KV-кэш с помощью `--cache`, чтобы пропускать повторную обработку запросов
• 06Собирается для ARM, x86-64 и RISC-V; поддерживает Linux, Windows и macOS

Сценарии использования

• Запуск небольшого офлайн-чатбота или ассистента на Raspberry Pi либо аналогичной плате
• Добавление локального вызова инструментов LLM с гарантированным выводом JSON на устройствах с низким энергопотреблением
• Эксперименты с инференсом LLM на RISC-V и другом редком встраиваемом оборудовании
• Использование в качестве локального бэкенда модели для агента PicoClaw

Темы

Частые вопросы

Что такое picolm?

Минималистичный движок инференса LLM на C11, запускающий GGUF-модели архитектуры LLaMA класса 1B на недорогих платах вроде Raspberry Pi, используя около 45 МБ RAM. PicoLM — написанный с нуля движок инференса LLM: примерно 2 500 строк кода на C11, без внешних зависимостей. Он загружает модели архитектуры LLaMA в формате GGUF, например TinyLlama 1.1B, и предназначен для устройств, с которыми типичным фреймворкам инференса трудно работать: Raspberry Pi Zero 2W, Raspberry Pi 3/4/5, плат на RISC-V, а также машин под управлением Linux, Windows или macOS с архитектурой x86-64.

picolm можно использовать бесплатно? Какая у него лицензия?

picolm распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

picolm всё ещё поддерживается?

Нет коммитов больше 6 месяцев. Последний коммит в picolm — 22 февр. 2026 г..

Для чего можно использовать picolm?

Запуск небольшого офлайн-чатбота или ассистента на Raspberry Pi либо аналогичной плате Добавление локального вызова инструментов LLM с гарантированным выводом JSON на устройствах с низким энергопотреблением Эксперименты с инференсом LLM на RISC-V и другом редком встраиваемом оборудовании Использование в качестве локального бэкенда модели для агента PicoClaw

Где скачать picolm?

Исходный код и инструкции по установке — на GitHub: https://github.com/RightNow-AI/picolm