Repolode
Предложить
cactus-compute

cactus-compute/cactus

Движок инференса и рантайм на C++ для запуска LLM, речевых и визуальных моделей на смартфонах, носимых устройствах, устройствах умного дома и роботах.

Открыть на GitHubСайт
Звёзды
6,149
Форки
518
Открытые issues
115
Последний коммит
27 дней назад

Что это?

Cactus — гибридный edge-cloud AI-движок для мобильных устройств и носимых гаджетов. Он предоставляет совместимый с OpenAI API для генерации ответов в чате, потоковой передачи, вызова инструментов, транскрибации, эмбеддингов, RAG и работы с изображениями, а также может передавать запрос облачной модели, если уверенность локальной модели ниже заданного порога.

Стек состоит из четырёх слоёв: API движка, графа вычислений без копирования данных, ядер ARM NEON и GPU, оптимизированных для устройств Apple, Samsung и Pixel, и собственной схемы квантования на основе вращений (Cactus Quants) с разрядностью от 4 до 1 бита. В проекте публикуются результаты тестирования моделей Gemma, Qwen, Liquid, Whisper и Parakeet на компьютерах Mac и устройствах iPhone.

Cactus можно установить на macOS с помощью Homebrew. В комплект входят CLI для запуска, загрузки, конвертации и обслуживания моделей, а также биндинги для Swift, Kotlin, Flutter, React Native, Python и Rust.

Ключевые возможности

  • 01Совместимые с OpenAI локальный HTTP-сервер и C API для чата, потоковой передачи и вызова инструментов.
  • 02Транскрибация речи и инференс моделей «зрение — язык» прямо на устройстве.
  • 03Автоматическая передача запросов в облако с учётом уверенности локальной модели.
  • 04Собственное квантование CQ с разрядностью от 4 до 1 бита.
  • 05Ядра ARM NEON и GPU для устройств Apple, Samsung и Pixel.
  • 06Биндинги для Swift, Kotlin, Flutter, React Native, Python и Rust.

Сценарии использования

  • Запуск приватного помощника на устройстве в мобильном или десктопном приложении без отправки данных на сервер.
  • Добавление офлайн-транскрибации речи в приложение для носимого устройства или смартфона.
  • Запуск локальной конечной точки, совместимой с OpenAI, для разработки на Mac.
  • Развёртывание небольших квантованных моделей на устройствах умного дома или роботах.

Быстрый старт

  1. 1

    Установите Cactus с помощью Homebrew (macOS)

    brew install cactus-compute/cactus/cactus
  2. 2

    Запустите модель с помощью Cactus CLI

    cactus run

Что важно знать

  • Лицензия не указана явно (в метаданных указано NOASSERTION), поэтому перед коммерческим использованием проверьте репозиторий.
  • Быстрая демонстрация представлена для Mac, а таблицы бенчмарков посвящены устройствам Apple.
  • Преобразование произвольных моделей HuggingFace описано как экспериментальное; особенно тщательно протестированы только некоторые семейства моделей.

Темы

#edge-ai#on-device-ai#llm-inference#quantization#mobile-inference#speech-recognition#rag#arm-neon#ai#android

Частые вопросы

Что такое cactus?
Движок инференса и рантайм на C++ для запуска LLM, речевых и визуальных моделей на смартфонах, носимых устройствах, устройствах умного дома и роботах. Cactus — гибридный edge-cloud AI-движок для мобильных устройств и носимых гаджетов. Он предоставляет совместимый с OpenAI API для генерации ответов в чате, потоковой передачи, вызова инструментов, транскрибации, эмбеддингов, RAG и работы с изображениями, а также может передавать запрос облачной модели, если уверенность локальной модели ниже заданного порога.
cactus можно использовать бесплатно? Какая у него лицензия?
cactus распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
cactus всё ещё поддерживается?
Активно поддерживается. Последний коммит в cactus — 26 сент. 2026 г..
Для чего можно использовать cactus?
Запуск приватного помощника на устройстве в мобильном или десктопном приложении без отправки данных на сервер. Добавление офлайн-транскрибации речи в приложение для носимого устройства или смартфона. Запуск локальной конечной точки, совместимой с OpenAI, для разработки на Mac. Развёртывание небольших квантованных моделей на устройствах умного дома или роботах.
Как установить cactus?
Установите Cactus с помощью Homebrew (macOS): brew install cactus-compute/cactus/cactus Запустите модель с помощью Cactus CLI: cactus run
Где скачать cactus?
Исходный код и инструкции по установке — на GitHub: https://github.com/cactus-compute/cactus

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты