Repolode
Enviar
RunanywhereAI

RunanywhereAI/runanywhere-sdks

SDK multiplataforma para executar modelos de LLM, fala, visão e imagem totalmente no dispositivo, em iOS, Android, web, desktop e servidores.

Ver no GitHubSite
Estrelas
10,332
Forks
410
Issues abertas
210
Último commit
há 3 dias

O que é?

RunAnywhere é um core em C++ com bindings para Swift, Kotlin, Flutter, React Native, Web, Electron e Python. Ele permite que um app execute modelos de linguagem, modelos de visão e linguagem, speech-to-text, text-to-speech, detecção de atividade de voz, embeddings, RAG e geração de imagens baseada em diffusion no próprio dispositivo, sem enviar dados para um servidor.

Um registro de capacidades encaminha cada chamada ao engine de maior prioridade compatível com a modalidade no hardware atual. Entre os engines compatíveis estão QHexRT para o NPU Snapdragon Hexagon, MLX em Apple silicon, llama.cpp com backends Metal, CUDA ou WebGPU, sherpa com ONNX para fala e embeddings, e Core ML para diffusion. O mesmo código de aplicação funciona em todos esses alvos.

O projeto também inclui um servidor local compatível com OpenAI em Python, uma CLI de terminal chamada wally e um console opcional para implantar modelos e coletar telemetria por dispositivo. Vários SDKs ainda estão em beta, preview ou alpha, e alguns recursos, como detecção de wake word, ainda não foram implementados.

Recursos principais

  • 01Executa modelos de LLM, VLM, fala, TTS, embeddings e diffusion localmente no dispositivo.
  • 02Encaminha a inferência para engines como QHexRT, MLX, llama.cpp, sherpa/ONNX e Core ML, de acordo com o hardware.
  • 03Oferece a mesma API para Swift, Kotlin, Flutter, React Native, Web, Electron e Python.
  • 04Oferece saída JSON estruturada, chamadas de ferramentas e RAG sobre documentos locais.
  • 05Disponibiliza um servidor local compatível com OpenAI no SDK Python e a CLI wally.

Casos de uso

  • Criar um assistente de voz offline que execute reconhecimento de fala, um LLM local e síntese de fala em um celular.
  • Adicionar perguntas e respostas sobre documentos privados a um app desktop sem enviar arquivos para uma API na nuvem.
  • Disponibilizar modelos locais por meio de um endpoint compatível com OpenAI para códigos clientes existentes.
  • Executar um modelo de visão e linguagem no dispositivo para descrever imagens capturadas pela câmera em um app móvel.

Início rápido

  1. 1

    Instale o pacote Python do PyPI

    pip install runanywhere
  2. 2

    Inicialize o SDK e gere texto usando o exemplo em Python do README (o modelo é baixado no primeiro uso)

Antes de usar

  • A licença não é uma licença padrão de código aberto e está listada como NOASSERTION. Confira o arquivo LICENSE antes de usar o projeto comercialmente.
  • Alguns recursos dependem da plataforma ou do backend, e o CUDA exige uma compilação opcional a partir do código-fonte.
  • O binding para desktop do Electron prioriza o Windows e fornece um addon pré-compilado apenas para win32-x64.

Em coleções

Rode LLMs localmenteFerramentas de privacidade e local-firstApps para Android e ferramentas para celular

Tópicos

#on-device-ai#llm#edge-inference#voice-ai#multimodal#llama-cpp#mobile-ai#offline-first#android#apple-intelligence

Perguntas frequentes

O que é runanywhere-sdks?
SDK multiplataforma para executar modelos de LLM, fala, visão e imagem totalmente no dispositivo, em iOS, Android, web, desktop e servidores. RunAnywhere é um core em C++ com bindings para Swift, Kotlin, Flutter, React Native, Web, Electron e Python. Ele permite que um app execute modelos de linguagem, modelos de visão e linguagem, speech-to-text, text-to-speech, detecção de atividade de voz, embeddings, RAG e geração de imagens baseada em diffusion no próprio dispositivo, sem enviar dados para um servidor.
runanywhere-sdks é gratuito? Qual é a licença?
runanywhere-sdks é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
runanywhere-sdks ainda é mantido?
Manutenção ativa. O último commit de runanywhere-sdks foi em 5 de nov. de 2026.
Para que posso usar runanywhere-sdks?
Criar um assistente de voz offline que execute reconhecimento de fala, um LLM local e síntese de fala em um celular. Adicionar perguntas e respostas sobre documentos privados a um app desktop sem enviar arquivos para uma API na nuvem. Disponibilizar modelos locais por meio de um endpoint compatível com OpenAI para códigos clientes existentes. Executar um modelo de visão e linguagem no dispositivo para descrever imagens capturadas pela câmera em um app móvel.
Como instalar runanywhere-sdks?
Instale o pacote Python do PyPI: pip install runanywhere Inicialize o SDK e gere texto usando o exemplo em Python do README (o modelo é baixado no primeiro uso)
Onde consigo runanywhere-sdks?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/RunanywhereAI/runanywhere-sdks

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados