Repolode
Enviar
mybigday

mybigday/llama.rn

Binding de React Native para llama.cpp, que permite executar LLMs GGUF no dispositivo em apps para iOS e Android.

Ver no GitHub
Estrelas
1,059
Forks
132
Issues abertas
23
Último commit
há 4 horas

O que é?

llama.rn integra o llama.cpp para que apps React Native carreguem modelos de linguagem GGUF e executem inferência diretamente no celular, sem servidor. A biblioteca oferece APIs JavaScript para chat e conclusão de texto, embeddings, reranking, tokenização e salvamento/carregamento de sessões.

A biblioteca vai além da geração de texto simples. Ela dá suporte a modelos multimodais por meio de projetores mmproj para entrada de imagem e áudio, chamadas de ferramentas com templates de chat Jinja e saídas estruturadas usando gramáticas GBNF ou esquemas JSON. Também inclui processamento paralelo de requisições baseado em slots e decodificação especulativa MTP. A aceleração por GPU usa Metal no iOS e OpenCL em dispositivos Qualcomm Adreno compatíveis, além de suporte experimental à NPU Hexagon em chips Snapdragon mais novos.

Um fluxo experimental de conversão de texto em fala executa várias famílias de modelos neurais de TTS por meio do backend codec.cpp, com clonagem de voz a partir de áudio de referência. A partir da v0.10, a biblioteca exige a New Architecture do React Native; versões anteriores estão em uma branch separada.

Recursos principais

  • 01Executa modelos GGUF no iOS e no Android por meio de APIs JavaScript do React Native.
  • 02Oferece aceleração por GPU com Metal no iOS e OpenCL em dispositivos Qualcomm compatíveis.
  • 03Processa entradas de imagem e áudio para modelos multimodais por meio de arquivos mmproj.
  • 04Oferece chamadas de ferramentas e saídas estruturadas com templates Jinja e gramáticas GBNF ou JSON Schema.
  • 05Oferece conclusões paralelas baseadas em slots, embeddings e reranking.

Casos de uso

  • Criar um chatbot com foco em privacidade que funcione totalmente offline no celular.
  • Adicionar busca de documentos no dispositivo, com embeddings e reranking, a um app mobile.
  • Prototipar recursos de compreensão de imagem ou áudio em um app React Native sem backend.

Início rápido

  1. 1

    Instale o pacote pelo npm

    npm install llama.rn
  2. 2

    Execute novamente pod install para iOS

    npx pod-install
  3. 3

    Carregue um modelo GGUF e execute completion usando initLlama

Antes de usar

  • A partir da v0.10, é necessária a New Architecture do React Native. Para usar a Old Architecture, é preciso utilizar a branch v0.9.
  • Os binários nativos são baixados das releases do GitHub durante o postinstall, portanto a instalação precisa de acesso à rede e pode exigir uma etapa de download manual.
  • A aceleração por GPU e NPU (OpenCL, Hexagon) é limitada a determinados dispositivos Qualcomm, e o Hexagon é experimental.
  • O suporte à conversão de texto em fala é experimental.

Tópicos

#react-native#llama-cpp#on-device-ai#llm-inference#gguf#mobile#multimodal#ios#android#llama

Perguntas frequentes

O que é llama.rn?
Binding de React Native para llama.cpp, que permite executar LLMs GGUF no dispositivo em apps para iOS e Android. llama.rn integra o llama.cpp para que apps React Native carreguem modelos de linguagem GGUF e executem inferência diretamente no celular, sem servidor. A biblioteca oferece APIs JavaScript para chat e conclusão de texto, embeddings, reranking, tokenização e salvamento/carregamento de sessões.
llama.rn é gratuito? Qual é a licença?
llama.rn é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
llama.rn ainda é mantido?
Manutenção ativa. O último commit de llama.rn foi em 21 de out. de 2026.
Para que posso usar llama.rn?
Criar um chatbot com foco em privacidade que funcione totalmente offline no celular. Adicionar busca de documentos no dispositivo, com embeddings e reranking, a um app mobile. Prototipar recursos de compreensão de imagem ou áudio em um app React Native sem backend.
Como instalar llama.rn?
Instale o pacote pelo npm: npm install llama.rn Execute novamente pod install para iOS: npx pod-install Carregue um modelo GGUF e execute completion usando initLlama
Onde consigo llama.rn?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mybigday/llama.rn

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados