Repolode
Предложить
trymirai

trymirai/uzu

Движок инференса на Rust для запуска AI-моделей прямо в приложениях: на устройствах Apple — локально, также доступны облачные модели.

Открыть на GitHubСайт
Звёзды
2,459
Форки
148
Открытые issues
25
Последний коммит
10 часов назад

Что это?

uzu — движок инференса для запуска AI-моделей в приложении. Он позволяет избежать сетевых задержек, хранить данные на устройстве и не платить за инференс каждого запроса. uzu предоставляет высокоуровневый API для чат-сессий и биндинги для Rust, Python, Swift и TypeScript, а загрузкой моделей и настройкой инференса занимается автоматически.

Движок использует унифицированную память на устройствах Apple и распространяется как Swift Package для iOS, macOS и Mac Catalyst, а также через npm и PyPI. Конфигурации моделей унифицированы: чтобы добавить поддержку новой модели, достаточно следовать общему шаблону. Вычисления можно трассировать и проверять на соответствие эталонной реализации. В примерах показаны базовый чат, потоковая выдача ответов, облачные модели, совместное использование экземпляров моделей, структурированный вывод по JSON Schema и вызовы инструментов.

Каждая загруженная модель может занимать значительный объём RAM, поэтому проект рекомендует держать загруженной только одну чат-сессию. В документации описано, как настраивать каждый этап конвейера.

Ключевые возможности

  • 01Предоставляет высокоуровневый API чат-сессий с биндингами для Rust, Python, Swift и TypeScript.
  • 02Запускает модели на устройстве и использует унифицированную память на устройствах Apple.
  • 03Поддерживает структурированный вывод, ограниченный JSON Schema.
  • 04Поддерживает вызовы инструментов, позволяя моделям вызывать внешние функции.
  • 05Позволяет использовать одну загруженную модель в нескольких чат-сессиях.
  • 06Также поддерживает вызовы облачных моделей, например GPT-5 от OpenAI.

Сценарии использования

  • Добавление чата с LLM, работающей на устройстве, в приложение для iOS или macOS без отправки пользовательских данных на сервер.
  • Генерация ответов в формате JSON локальной моделью для последующего разбора.
  • Создание приложения, в котором модель может вызывать локальные функции, например получать местоположение устройства.

Быстрый старт

  1. 1

    Добавьте пакет Python с помощью uv

    uv add uzu==0.6.11
  2. 2

    Создайте движок, загрузите модель, скачайте её и запустите чат, используя пример на Python из README

Что важно знать

  • Основные возможности инференса предназначены для устройств Apple; локальное выполнение поддерживается на iOS и macOS.
  • Для использования облачных моделей требуется внешний сервис, поэтому инференс не будет полностью локальным.
  • Rust-крейт загружается из ветки git, а не из стабильного релиза на crates.io.

Темы

#inference#llm#rust#on-device-ai#apple-silicon#metal#swift#tts#ai#high-performance

Частые вопросы

Что такое uzu?
Движок инференса на Rust для запуска AI-моделей прямо в приложениях: на устройствах Apple — локально, также доступны облачные модели. uzu — движок инференса для запуска AI-моделей в приложении. Он позволяет избежать сетевых задержек, хранить данные на устройстве и не платить за инференс каждого запроса. uzu предоставляет высокоуровневый API для чат-сессий и биндинги для Rust, Python, Swift и TypeScript, а загрузкой моделей и настройкой инференса занимается автоматически.
uzu можно использовать бесплатно? Какая у него лицензия?
uzu распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
uzu всё ещё поддерживается?
Активно поддерживается. Последний коммит в uzu — 21 окт. 2026 г..
Для чего можно использовать uzu?
Добавление чата с LLM, работающей на устройстве, в приложение для iOS или macOS без отправки пользовательских данных на сервер. Генерация ответов в формате JSON локальной моделью для последующего разбора. Создание приложения, в котором модель может вызывать локальные функции, например получать местоположение устройства.
Как установить uzu?
Добавьте пакет Python с помощью uv: uv add uzu==0.6.11 Создайте движок, загрузите модель, скачайте её и запустите чат, используя пример на Python из README
Где скачать uzu?
Исходный код и инструкции по установке — на GitHub: https://github.com/trymirai/uzu

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

mlc-ai / mlc-llm

Компилятор машинного обучения и движок развёртывания, позволяющие запускать большие языковые модели на GPU, в браузерах и на мобильных устройствах с OpenAI-совместимыми API.

ИИ и машинное обучение#llm#machine-learning-compiler#inference
23,3 тыс.2,2 тыс.PythonApache-2.0Обновлён 15 дней назад