Stack de inferência on-device do PyTorch para executar modelos exportados em celulares, laptops, navegadores e microcontroladores.
5,1 mil1,2 milPythonOtherAtualizado há 1 hora
google-ai-edge/LiteRT-LM
Framework open source do Google para executar LLMs em dispositivos de borda, incluindo Android, iOS, Web, desktop e Raspberry Pi.
- Estrelas
- 6,712
- Forks
- 765
- Issues abertas
- 710
- Último commit
- há 1 hora
O que é?
LiteRT-LM é uma camada de orquestração para executar LLMs no LiteRT, o runtime de inferência no dispositivo do Google. O projeto é voltado a desenvolvedores que querem executar modelos como Gemma, Llama, Phi-4 e Qwen localmente em celulares, navegadores, desktops e placas IoT, em vez de chamar uma API na nuvem.
O projeto oferece uma CLI para executar e importar modelos do Hugging Face, além de um endpoint de servidor compatível com OpenAI (`litert-lm serve`), que também disponibiliza modelos multimodais de embeddings. Há bindings para Python, Kotlin, Swift, JavaScript e C++, e o Flutter conta com suporte da comunidade. A aceleração de hardware abrange backends de GPU e NPU, e o projeto inclui uso de ferramentas (function calling) e entradas de imagem e áudio.
Segundo o Google, o LiteRT-LM viabiliza recursos de GenAI no dispositivo no Chrome, Chromebook Plus e Pixel Watch. O repositório também aponta para o app Google AI Edge Gallery, que permite experimentar modelos em um dispositivo.
Recursos principais
- 01Executa em Android, iOS, Web, desktop e Raspberry Pi.
- 02Usa aceleradores de GPU e NPU para inferência.
- 03Aceita entradas de imagem e áudio, além de texto.
- 04Oferece function calling para fluxos de trabalho com agentes.
- 05Disponibiliza um servidor compatível com OpenAI e um endpoint de embeddings.
- 06Oferece APIs para Python, Kotlin, Swift, JavaScript e C++.
Casos de uso
- Criar um app para Android ou iOS que execute um modelo de chat offline.
- Executar um LLM local em um laptop ou Raspberry Pi pela linha de comando.
- Adicionar function calling no dispositivo a um app sem backend na nuvem.
- Disponibilizar modelos locais de embeddings por meio de uma API no estilo OpenAI.
Início rápido
- 1
Instale o LiteRT-LM CLI com uv
uv tool install litert-lm - 2
Execute o modelo Gemma 3n do Hugging Face no seu terminal
litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"
Antes de usar
- As APIs de Swift e JavaScript estão em prévia inicial.
- O suporte ao Flutter é mantido pela comunidade, não é oficial.
Em coleções
Tópicos
Perguntas frequentes
- O que é LiteRT-LM?
- Framework open source do Google para executar LLMs em dispositivos de borda, incluindo Android, iOS, Web, desktop e Raspberry Pi. LiteRT-LM é uma camada de orquestração para executar LLMs no LiteRT, o runtime de inferência no dispositivo do Google. O projeto é voltado a desenvolvedores que querem executar modelos como Gemma, Llama, Phi-4 e Qwen localmente em celulares, navegadores, desktops e placas IoT, em vez de chamar uma API na nuvem.
- LiteRT-LM é gratuito? Qual é a licença?
- LiteRT-LM é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- LiteRT-LM ainda é mantido?
- Manutenção ativa. O último commit de LiteRT-LM foi em 22 de out. de 2026.
- Para que posso usar LiteRT-LM?
- Criar um app para Android ou iOS que execute um modelo de chat offline. Executar um LLM local em um laptop ou Raspberry Pi pela linha de comando. Adicionar function calling no dispositivo a um app sem backend na nuvem. Disponibilizar modelos locais de embeddings por meio de uma API no estilo OpenAI.
- Como instalar LiteRT-LM?
- Instale o LiteRT-LM CLI com uv: uv tool install litert-lm Execute o modelo Gemma 3n do Hugging Face no seu terminal: litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"
- Onde consigo LiteRT-LM?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/google-ai-edge/LiteRT-LM
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um app para Android e iOS do Google AI Edge para testar LLMs de código aberto e casos de uso de GenAI no dispositivo, offline, pelo celular.
25,1 mil2,8 milKotlinApache-2.0Atualizado há 2 horas
MNN é um mecanismo leve de inferência e treinamento de deep learning da Alibaba, criado para executar modelos em dispositivos móveis e embarcados, incluindo LLMs no próprio dispositivo.
16,3 mil2,5 milC++Apache-2.0Atualizado há 8 horas
Framework multiplataforma e soluções de ML prontas para executar modelos de visão, áudio e texto no dispositivo, em dispositivos móveis, web, desktop e IoT.
37,4 mil6,2 milC++Apache-2.0Atualizado há 3 horas
Runner local e na nuvem para modelos abertos, como Gemma, Qwen, DeepSeek e gpt-oss, com CLI, REST API e bibliotecas para Python e JavaScript.
184,3 mil18,5 milGoMITAtualizado há 1 hora
Um pequeno modelo fundacional executado no dispositivo para chamadas de ferramentas, extração estruturada, embeddings e transcrição de fala em celulares, wearables, robôs e microcontroladores.
14,2 mil981PythonApache-2.0Atualizado há 3 dias