Инструмент для разработчиков, который запускает AI-модели локально в OCI-контейнерах, автоматически подбирает образы для GPU и предоставляет модели через REST API или чат-бота.
Open source альтернатива:Ollama
RamaLama — CLI с открытым исходным кодом, который позволяет загружать, запускать и предоставлять AI-модели из разных реестров, используя привычный для контейнеров процесс работы. Он обнаруживает GPU на хосте и загружает подходящий образ контейнера с аппаратным ускорением, поэтому настраивать драйверы и среды выполнения в самой системе вручную не нужно. С моделями можно работать почти так же, как с образами контейнеров: просматривать список, загружать, изучать, конвертировать и тестировать производительность с помощью команд.
Модели можно брать из Hugging Face, ModelScope, Ollama и обычных OCI-реестров, например Quay или Docker Hub. Инференс выполняется через llama.cpp, vLLM или MLX на macOS, а взаимодействовать с моделью можно через REST API или чат-бота. По умолчанию контейнеры запускаются без прав root, монтируют модель только для чтения, не имеют доступа к сети во время `ramalama run` и удаляются после завершения.
Проект поддерживает CPU, а также оборудование NVIDIA, AMD, Intel, Apple Silicon, Ascend и Moore Threads. Установить его можно через PyPI, DNF в Fedora, установщик для macOS или shell-скрипт. В Windows он работает через Docker Desktop или Podman Desktop с WSL2.
Установите RamaLama из PyPI
pip install ramalamaЗапустите модель командой ramalama run (для этого должен быть установлен Podman или Docker)
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Распространяет и запускает открытые LLM в виде одного исполняемого файла, который работает в большинстве операционных систем и на большинстве архитектур CPU без установки.
Набор инструментов на базе Docker для запуска, сборки, дообучения и упаковки открытых LLM с OpenAI-совместимым API.
C++-сервер для инференса LLM на потребительских GPU и смешанных системах AMD/NVIDIA со спекулятивным декодированием, спекулятивным prefill и кастомными ядрами.
Open-source платформа для балансировки нагрузки и serving LLM, которая запускает инференс на ваших CPU или GPU с помощью llama.cpp.
Приложение для строки меню macOS, запускающее локальные LLM на базе llama.cpp и предоставляющее локальный API-сервер со встроенным WebUI.
Сервисный движок на Rust и LibTorch для эмбеддингов, реранкинга, классификации и типизированных решений через REST API.