Repolode
Enviar
RunanywhereAI

RunanywhereAI/runanywhere-sdks

SDK multiplataforma para ejecutar modelos de LLM, voz, visión e imágenes completamente en el dispositivo, en iOS, Android, web, escritorio y servidores.

Ver en GitHubSitio web
Estrellas
10,336
Forks
411
Issues abiertos
210
Último commit
hace 3 días

¿Qué es?

RunAnywhere es un núcleo en C++ con bindings para Swift, Kotlin, Flutter, React Native, Web, Electron y Python. Permite que una aplicación ejecute modelos de lenguaje, modelos de visión y lenguaje, conversión de voz a texto, conversión de texto a voz, detección de actividad de voz, embeddings, RAG y generación de imágenes basada en difusión directamente en el dispositivo, sin enviar datos a un servidor.

Un registro de capacidades dirige cada llamada al motor con mayor prioridad compatible con la modalidad en el hardware actual. Entre los motores compatibles están QHexRT para la NPU Snapdragon Hexagon, MLX en Apple silicon, llama.cpp con backends Metal, CUDA o WebGPU, sherpa con ONNX para voz y embeddings, y Core ML para difusión. El mismo código de aplicación funciona en todos estos destinos.

El proyecto también incluye un servidor local compatible con OpenAI para Python, una CLI de terminal llamada wally y una consola opcional para desplegar modelos y recopilar telemetría por dispositivo. Varios SDK siguen en beta, preview o alpha, y algunas funciones, como la detección de palabras de activación, todavía no están implementadas.

Funciones clave

  • 01Ejecuta modelos de LLM, VLM, voz, TTS, embeddings y difusión localmente en el dispositivo.
  • 02Dirige la inferencia a motores como QHexRT, MLX, llama.cpp, sherpa/ONNX y Core ML según el hardware.
  • 03Ofrece la misma API para Swift, Kotlin, Flutter, React Native, Web, Electron y Python.
  • 04Admite salidas JSON estructuradas, llamadas a herramientas y RAG sobre documentos locales.
  • 05Incluye un servidor local compatible con OpenAI en el SDK de Python y la CLI wally.

Casos de uso

  • Crear un asistente de voz sin conexión que ejecute reconocimiento de voz, un LLM local y síntesis de voz en un teléfono.
  • Añadir preguntas y respuestas sobre documentos privados a una aplicación de escritorio sin enviar archivos a una API en la nube.
  • Servir modelos locales mediante un endpoint compatible con OpenAI para usar el código cliente existente.
  • Ejecutar un modelo de visión y lenguaje en el dispositivo para describir imágenes captadas por la cámara en una aplicación móvil.

Inicio rápido

  1. 1

    Instala el paquete de Python desde PyPI

    pip install runanywhere
  2. 2

    Inicializa el SDK y genera texto con el ejemplo de Python del README (el modelo se descarga la primera vez que se usa)

Antes de usarlo

  • La licencia no es una licencia estándar de código abierto y figura como NOASSERTION, así que consulta el archivo LICENSE antes de usarlo comercialmente.
  • Algunas funciones dependen de la plataforma o del backend, y CUDA requiere una compilación desde el código fuente que se habilita de forma opcional.
  • El binding de escritorio de Electron está orientado primero a Windows y solo incluye un addon precompilado para win32-x64.

En colecciones

Ejecuta LLM en localHerramientas de privacidad y local-firstApps para Android y herramientas para el móvil

Temas

#on-device-ai#llm#edge-inference#voice-ai#multimodal#llama-cpp#mobile-ai#offline-first#android#apple-intelligence

Preguntas frecuentes

¿Qué es runanywhere-sdks?
SDK multiplataforma para ejecutar modelos de LLM, voz, visión e imágenes completamente en el dispositivo, en iOS, Android, web, escritorio y servidores. RunAnywhere es un núcleo en C++ con bindings para Swift, Kotlin, Flutter, React Native, Web, Electron y Python. Permite que una aplicación ejecute modelos de lenguaje, modelos de visión y lenguaje, conversión de voz a texto, conversión de texto a voz, detección de actividad de voz, embeddings, RAG y generación de imágenes basada en difusión directamente en el dispositivo, sin enviar datos a un servidor.
¿runanywhere-sdks es gratuito? ¿Qué licencia tiene?
runanywhere-sdks es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿runanywhere-sdks sigue mantenido?
Mantenimiento activo. El último commit de runanywhere-sdks fue el 5 nov 2026.
¿Para qué puedo usar runanywhere-sdks?
Crear un asistente de voz sin conexión que ejecute reconocimiento de voz, un LLM local y síntesis de voz en un teléfono. Añadir preguntas y respuestas sobre documentos privados a una aplicación de escritorio sin enviar archivos a una API en la nube. Servir modelos locales mediante un endpoint compatible con OpenAI para usar el código cliente existente. Ejecutar un modelo de visión y lenguaje en el dispositivo para describir imágenes captadas por la cámara en una aplicación móvil.
¿Cómo se instala runanywhere-sdks?
Instala el paquete de Python desde PyPI: pip install runanywhere Inicializa el SDK y genera texto con el ejemplo de Python del README (el modelo se descarga la primera vez que se usa)
¿Dónde consigo runanywhere-sdks?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/RunanywhereAI/runanywhere-sdks

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados