Repolode
Enviar
mybigday

mybigday/llama.rn

Binding de React Native para ejecutar LLMs GGUF en el dispositivo en apps de iOS y Android con llama.cpp.

Ver en GitHub
Estrellas
1,059
Forks
132
Issues abiertos
23
Último commit
hace 4 horas

¿Qué es?

llama.rn integra llama.cpp para que las apps de React Native carguen modelos de lenguaje GGUF y ejecuten inferencias directamente en el teléfono, sin un servidor. Expone APIs de JavaScript para chat y completado de texto, embeddings, reranking, tokenización y guardado y carga de sesiones.

La biblioteca ofrece más que generación de texto. Admite modelos multimodales mediante proyectores mmproj para recibir imágenes y audio, llamadas a herramientas mediante plantillas de chat Jinja y salidas estructuradas con gramáticas GBNF o esquemas JSON. También incluye el procesamiento paralelo de solicitudes basado en slots y la decodificación especulativa MTP. La aceleración por GPU utiliza Metal en iOS y OpenCL en dispositivos Qualcomm Adreno compatibles, además de compatibilidad experimental con NPU Hexagon en chips Snapdragon más recientes.

Una función experimental de conversión de texto a voz ejecuta varias familias de modelos neuronales TTS mediante el backend codec.cpp y permite clonar voces a partir de audio de referencia. Desde v0.10, la biblioteca requiere la New Architecture de React Native; las versiones anteriores están en una rama independiente.

Funciones clave

  • 01Ejecuta modelos GGUF en iOS y Android mediante APIs de JavaScript de React Native.
  • 02Admite aceleración por GPU con Metal en iOS y OpenCL en dispositivos Qualcomm compatibles.
  • 03Procesa imágenes y audio para modelos multimodales mediante archivos mmproj.
  • 04Ofrece llamadas a herramientas y salidas estructuradas mediante plantillas Jinja y gramáticas GBNF o JSON Schema.
  • 05Permite completar solicitudes en paralelo mediante slots, generar embeddings y hacer reranking.

Casos de uso

  • Crear un chatbot centrado en la privacidad que funcione completamente offline en un teléfono.
  • Incorporar búsqueda de documentos en el dispositivo, con embeddings y reranking, en una app móvil.
  • Crear prototipos de funciones de comprensión de imágenes o audio en una app de React Native sin backend.

Inicio rápido

  1. 1

    Instala el paquete desde npm

    npm install llama.rn
  2. 2

    Vuelve a ejecutar pod install para iOS

    npx pod-install
  3. 3

    Carga un modelo GGUF y ejecuta completion con initLlama

Antes de usarlo

  • A partir de v0.10, se requiere la New Architecture de React Native. Para usar la Old Architecture, necesitas la rama v0.9.
  • Los binarios nativos se descargan desde las versiones de GitHub durante postinstall, por lo que la instalación requiere acceso a la red y puede que tengas que descargarlos manualmente.
  • La aceleración por GPU y NPU (OpenCL, Hexagon) está limitada a ciertos dispositivos Qualcomm, y Hexagon es experimental.
  • La compatibilidad con la conversión de texto a voz es experimental.

Temas

#react-native#llama-cpp#on-device-ai#llm-inference#gguf#mobile#multimodal#ios#android#llama

Preguntas frecuentes

¿Qué es llama.rn?
Binding de React Native para ejecutar LLMs GGUF en el dispositivo en apps de iOS y Android con llama.cpp. llama.rn integra llama.cpp para que las apps de React Native carguen modelos de lenguaje GGUF y ejecuten inferencias directamente en el teléfono, sin un servidor. Expone APIs de JavaScript para chat y completado de texto, embeddings, reranking, tokenización y guardado y carga de sesiones.
¿llama.rn es gratuito? ¿Qué licencia tiene?
llama.rn es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿llama.rn sigue mantenido?
Mantenimiento activo. El último commit de llama.rn fue el 21 oct 2026.
¿Para qué puedo usar llama.rn?
Crear un chatbot centrado en la privacidad que funcione completamente offline en un teléfono. Incorporar búsqueda de documentos en el dispositivo, con embeddings y reranking, en una app móvil. Crear prototipos de funciones de comprensión de imágenes o audio en una app de React Native sin backend.
¿Cómo se instala llama.rn?
Instala el paquete desde npm: npm install llama.rn Vuelve a ejecutar pod install para iOS: npx pod-install Carga un modelo GGUF y ejecuta completion con initLlama
¿Dónde consigo llama.rn?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mybigday/llama.rn

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados