Stack de inferencia en el dispositivo de PyTorch para ejecutar modelos exportados en teléfonos, laptops, navegadores y microcontroladores.
5,1 mil1,2 milPythonOtherActualizado hace 2 horas
google-ai-edge/LiteRT-LM
Framework de código abierto de Google para ejecutar modelos de lenguaje grandes en dispositivos edge con Android, iOS, Web, escritorio y Raspberry Pi.
- Estrellas
- 6,710
- Forks
- 764
- Issues abiertos
- 710
- Último commit
- hace 2 horas
¿Qué es?
LiteRT-LM es una capa de orquestación para ejecutar LLM en LiteRT, el runtime de inferencia en el dispositivo de Google. Está dirigido a desarrolladores que quieren ejecutar modelos como Gemma, Llama, Phi-4 y Qwen localmente en teléfonos, navegadores, equipos de escritorio y placas IoT, en lugar de llamar a una API en la nube.
El proyecto ofrece una CLI para ejecutar e importar modelos de Hugging Face, así como un endpoint de servidor compatible con OpenAI (`litert-lm serve`) que también sirve modelos de embeddings multimodales. Ofrece bindings para Python, Kotlin, Swift, JavaScript y C++, y Flutter cuenta con soporte de la comunidad. La aceleración por hardware incluye backends de GPU y NPU, y el proyecto incorpora uso de herramientas (function calling) y entradas de visión y audio.
Google afirma que LiteRT-LM impulsa funciones de GenAI en el dispositivo en Chrome, Chromebook Plus y Pixel Watch, y el repositorio enlaza a la aplicación Google AI Edge Gallery para probar modelos en un dispositivo.
Funciones clave
- 01Se ejecuta en Android, iOS, Web, escritorio y Raspberry Pi.
- 02Usa aceleradores de GPU y NPU para la inferencia.
- 03Admite entradas de visión y audio, además de texto.
- 04Ofrece function calling para flujos de trabajo con agentes.
- 05Ofrece un servidor compatible con OpenAI y un endpoint de embeddings.
- 06Ofrece API para Python, Kotlin, Swift, JavaScript y C++.
Casos de uso
- Crear una aplicación para Android o iOS que ejecute un modelo de chat sin conexión.
- Ejecutar un LLM local en una laptop o Raspberry Pi desde la línea de comandos.
- Añadir function calling en el dispositivo a una aplicación sin un backend en la nube.
- Servir modelos de embeddings locales a través de una API al estilo de OpenAI.
Inicio rápido
- 1
Instala LiteRT-LM CLI con uv
uv tool install litert-lm - 2
Ejecuta el modelo Gemma 3n de Hugging Face en tu terminal
litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"
Antes de usarlo
- Las API de Swift y JavaScript están en una fase inicial de vista previa.
- El soporte de Flutter lo mantiene la comunidad y no es oficial.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es LiteRT-LM?
- Framework de código abierto de Google para ejecutar modelos de lenguaje grandes en dispositivos edge con Android, iOS, Web, escritorio y Raspberry Pi. LiteRT-LM es una capa de orquestación para ejecutar LLM en LiteRT, el runtime de inferencia en el dispositivo de Google. Está dirigido a desarrolladores que quieren ejecutar modelos como Gemma, Llama, Phi-4 y Qwen localmente en teléfonos, navegadores, equipos de escritorio y placas IoT, en lugar de llamar a una API en la nube.
- ¿LiteRT-LM es gratuito? ¿Qué licencia tiene?
- LiteRT-LM es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿LiteRT-LM sigue mantenido?
- Mantenimiento activo. El último commit de LiteRT-LM fue el 22 oct 2026.
- ¿Para qué puedo usar LiteRT-LM?
- Crear una aplicación para Android o iOS que ejecute un modelo de chat sin conexión. Ejecutar un LLM local en una laptop o Raspberry Pi desde la línea de comandos. Añadir function calling en el dispositivo a una aplicación sin un backend en la nube. Servir modelos de embeddings locales a través de una API al estilo de OpenAI.
- ¿Cómo se instala LiteRT-LM?
- Instala LiteRT-LM CLI con uv: uv tool install litert-lm Ejecuta el modelo Gemma 3n de Hugging Face en tu terminal: litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"
- ¿Dónde consigo LiteRT-LM?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/google-ai-edge/LiteRT-LM
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
App de Google AI Edge para Android e iOS que permite probar LLMs open source y casos de uso de GenAI en el dispositivo, sin conexión.
25,1 mil2,8 milKotlinApache-2.0Actualizado hace 5 horas
MNN es un motor ligero de inferencia y entrenamiento de deep learning de Alibaba, diseñado para ejecutar modelos en dispositivos móviles e integrados, incluidos LLM en el dispositivo.
16,3 mil2,5 milC++Apache-2.0Actualizado hace 6 horas
Framework multiplataforma y soluciones de ML listas para usar que ejecutan modelos de visión, audio y texto en el dispositivo, en móviles, web, computadoras de escritorio e IoT.
37,4 mil6,2 milC++Apache-2.0Actualizado hace 4 horas
Runner local y en la nube para modelos abiertos como Gemma, Qwen, DeepSeek y gpt-oss, con CLI, API REST y bibliotecas para Python y JavaScript.
184,3 mil18,5 milGoMITActualizado hace 2 horas
Un pequeño modelo fundacional que se ejecuta en el dispositivo para invocar herramientas, extraer datos estructurados, generar embeddings y transcribir voz en teléfonos, wearables, robots y microcontroladores.
14,2 mil980PythonApache-2.0Actualizado hace 3 días