google-ai-edge/LiteRT-LM

Что это?

Ключевые возможности

• 01Работает на Android, iOS, Web, desktop и Raspberry Pi.
• 02Использует GPU и NPU для ускорения инференса.
• 03Поддерживает изображения и аудио наряду с текстом.
• 04Поддерживает вызов функций для агентных сценариев.
• 05Предоставляет совместимый с OpenAI сервер и конечную точку для эмбеддингов.
• 06Предоставляет API для Python, Kotlin, Swift, JavaScript и C++.

Сценарии использования

• Создание приложения для Android или iOS, которое запускает чат-модель офлайн.
• Запуск локальной LLM на ноутбуке или Raspberry Pi из командной строки.
• Добавление в приложение вызова функций непосредственно на устройстве без облачного бэкенда.
• Предоставление локальных моделей эмбеддингов через API в стиле OpenAI.

Быстрый старт

1. 1

   Установите LiteRT-LM CLI с помощью uv

   uv tool install litert-lm
2. 2

   Запустите модель Gemma 3n с Hugging Face в терминале

   litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

Что важно знать

• !API для Swift и JavaScript находятся на раннем этапе предварительного просмотра.
• !Поддержку Flutter обеспечивает сообщество, а не официальная команда.

В подборках

Темы

Частые вопросы

Что такое LiteRT-LM?

Открытый фреймворк Google для запуска больших языковых моделей на устройствах под Android, iOS, Web и desktop, а также на Raspberry Pi. LiteRT-LM — это слой оркестрации для запуска LLM на LiteRT, среде Google для инференса непосредственно на устройстве. Он предназначен для разработчиков, которые хотят запускать такие модели, как Gemma, Llama, Phi-4 и Qwen, локально на телефонах, в браузерах, на компьютерах и IoT-платах, не обращаясь к облачному API.

LiteRT-LM можно использовать бесплатно? Какая у него лицензия?

LiteRT-LM распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

LiteRT-LM всё ещё поддерживается?

Активно поддерживается. Последний коммит в LiteRT-LM — 22 окт. 2026 г..

Для чего можно использовать LiteRT-LM?

Создание приложения для Android или iOS, которое запускает чат-модель офлайн. Запуск локальной LLM на ноутбуке или Raspberry Pi из командной строки. Добавление в приложение вызова функций непосредственно на устройстве без облачного бэкенда. Предоставление локальных моделей эмбеддингов через API в стиле OpenAI.

Как установить LiteRT-LM?

Установите LiteRT-LM CLI с помощью uv: uv tool install litert-lm Запустите модель Gemma 3n с Hugging Face в терминале: litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

Где скачать LiteRT-LM?

Исходный код и инструкции по установке — на GitHub: https://github.com/google-ai-edge/LiteRT-LM