Repolode
Предложить
RunanywhereAI

RunanywhereAI/runanywhere-sdks

Кроссплатформенный SDK для запуска LLM, моделей речи, компьютерного зрения и изображений локально на iOS, Android, вебе, компьютерах и серверах.

Открыть на GitHubСайт
Звёзды
10,336
Форки
411
Открытые issues
210
Последний коммит
3 дня назад

Что это?

RunAnywhere — это ядро на C++ с привязками для Swift, Kotlin, Flutter, React Native, Web, Electron и Python. С его помощью приложение может запускать языковые модели, vision-language-модели, преобразование речи в текст и текста в речь, обнаружение голосовой активности, эмбеддинги, RAG и генерацию изображений на основе диффузии прямо на устройстве, не отправляя данные на сервер.

Реестр возможностей направляет каждый вызов в движок с наивысшим приоритетом, который поддерживает нужный тип задач на текущем оборудовании. Среди поддерживаемых движков — QHexRT для NPU Snapdragon Hexagon, MLX на Apple silicon, llama.cpp с бэкендами Metal, CUDA или WebGPU, sherpa с ONNX для речи и эмбеддингов, а также Core ML для диффузии. Один и тот же код приложения работает на всех этих платформах.

В проект также входят локальный сервер на Python, совместимый с OpenAI, консольная CLI-утилита wally и необязательная консоль для развёртывания моделей и сбора телеметрии по устройствам. Несколько SDK пока находятся в статусе beta, preview или alpha, а некоторые возможности, например обнаружение ключевого слова для активации, ещё не реализованы.

Ключевые возможности

  • 01Запускает LLM, VLM, модели речи, TTS, эмбеддинги и диффузионные модели локально на устройстве.
  • 02Выбирает движки для инференса, например QHexRT, MLX, llama.cpp, sherpa/ONNX и Core ML, с учётом оборудования.
  • 03Предоставляет единый API для Swift, Kotlin, Flutter, React Native, Web, Electron и Python.
  • 04Поддерживает структурированный вывод в JSON, вызов инструментов и RAG по локальным документам.
  • 05Предоставляет совместимый с OpenAI локальный сервер в Python SDK и CLI-утилиту wally.

Сценарии использования

  • Создание офлайн-голосового помощника, который распознаёт речь, запускает локальную LLM и синтезирует речь на телефоне.
  • Добавление в приложение для компьютера функции ответов на вопросы по закрытым документам без отправки файлов в облачный API.
  • Запуск локальных моделей за совместимым с OpenAI endpoint для существующего клиентского кода.
  • Запуск vision-language-модели на устройстве для описания изображения с камеры в мобильном приложении.

Быстрый старт

  1. 1

    Установите пакет Python из PyPI

    pip install runanywhere
  2. 2

    Инициализируйте SDK и сгенерируйте текст с помощью примера на Python из README (модель загружается при первом использовании)

Что важно знать

  • Лицензия не относится к стандартным лицензиям с открытым исходным кодом и указана как NOASSERTION. Перед коммерческим использованием проверьте файл LICENSE.
  • Некоторые функции зависят от платформы или бэкенда, а CUDA требует отдельной сборки из исходного кода и подключается по желанию.
  • Десктопная привязка Electron в первую очередь рассчитана на Windows; предварительно собранный аддон доступен только для win32-x64.

В подборках

Запуск LLM локальноИнструменты для приватности и local-firstПриложения для Android и инструменты для телефона

Темы

#on-device-ai#llm#edge-inference#voice-ai#multimodal#llama-cpp#mobile-ai#offline-first#android#apple-intelligence

Частые вопросы

Что такое runanywhere-sdks?
Кроссплатформенный SDK для запуска LLM, моделей речи, компьютерного зрения и изображений локально на iOS, Android, вебе, компьютерах и серверах. RunAnywhere — это ядро на C++ с привязками для Swift, Kotlin, Flutter, React Native, Web, Electron и Python. С его помощью приложение может запускать языковые модели, vision-language-модели, преобразование речи в текст и текста в речь, обнаружение голосовой активности, эмбеддинги, RAG и генерацию изображений на основе диффузии прямо на устройстве, не отправляя данные на сервер.
runanywhere-sdks можно использовать бесплатно? Какая у него лицензия?
runanywhere-sdks распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
runanywhere-sdks всё ещё поддерживается?
Активно поддерживается. Последний коммит в runanywhere-sdks — 5 нояб. 2026 г..
Для чего можно использовать runanywhere-sdks?
Создание офлайн-голосового помощника, который распознаёт речь, запускает локальную LLM и синтезирует речь на телефоне. Добавление в приложение для компьютера функции ответов на вопросы по закрытым документам без отправки файлов в облачный API. Запуск локальных моделей за совместимым с OpenAI endpoint для существующего клиентского кода. Запуск vision-language-модели на устройстве для описания изображения с камеры в мобильном приложении.
Как установить runanywhere-sdks?
Установите пакет Python из PyPI: pip install runanywhere Инициализируйте SDK и сгенерируйте текст с помощью примера на Python из README (модель загружается при первом использовании)
Где скачать runanywhere-sdks?
Исходный код и инструкции по установке — на GitHub: https://github.com/RunanywhereAI/runanywhere-sdks

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты