Repolode
Enviar
orailnoor

orailnoor/cross-platform-llm-client

Um cliente de chat em Flutter que executa modelos GGUF no próprio dispositivo, em Android e iOS, ou se conecta a APIs na nuvem da OpenAI, Anthropic, Gemini ou Kimi.

Alternativa open source a:ChatGPT

Ver no GitHub
Estrelas
1,642
Forks
340
Issues abertas
23
Último commit
há 3 dias

O que é?

PrivateLM é um cliente multiplataforma de chat com IA, desenvolvido com Flutter. Ele executa inferência local de LLM em Android e iOS usando llama.cpp integrado por um plugin Flutter personalizado, com aceleração por GPU via Vulkan no Android e Metal no iOS. Os usuários podem baixar modelos GGUF para o dispositivo e conversar sem conexão com a internet depois que o download é concluído.

A mesma interface também pode se conectar a provedores na nuvem, incluindo OpenAI, Anthropic, Google Gemini e Kimi (Moonshot AI). As chamadas à nuvem são padronizadas entre os diferentes formatos de API. Na versão web, só há o modo na nuvem. As conversas e configurações são armazenadas localmente com Hive, e as chaves de API ficam no dispositivo e são enviadas apenas ao provedor escolhido.

Na primeira inicialização, o app verifica a RAM do dispositivo e sugere um tamanho de contexto e um limite de tokens. O chat multimodal aceita texto e imagens, com recursos de visão por meio de modelos Qwen2-VL locais ou provedores na nuvem compatíveis. Uma tela de tarefas para fluxos de trabalho com várias etapas ainda está em desenvolvimento.

Recursos principais

  • 01Executa modelos GGUF em Android e iOS com aceleração por GPU.
  • 02Permite alternar para as APIs da OpenAI, Anthropic, Google Gemini ou Kimi.
  • 03Aceita entrada de texto e imagens, incluindo modelos locais Qwen2-VL com recursos de visão.
  • 04Armazena conversas e configurações localmente com Hive.
  • 05Recomenda o tamanho de contexto e os limites de tokens com base na RAM do dispositivo.

Casos de uso

  • Conversar com um modelo local no celular sem enviar dados a um servidor.
  • Usar um único cliente para alternar entre modelos no dispositivo e APIs na nuvem.
  • Instalar manualmente um app privado de chat com IA no iPhone ou iPad via AltStore.

Início rápido

  1. 1

    Instalar as dependências do Flutter

    flutter pub get
  2. 2

    Compilar o APK de depuração para Android

    flutter build apk --debug
  3. 3

    Compilar o app web

    flutter build web --release

Antes de usar

  • A inferência local no dispositivo está disponível apenas no Android e no iOS; a versão web funciona somente na nuvem.
  • Para compilar para iOS, é necessário ter um Mac e instalar o app pelo AltStore. Apps instalados por sideload expiram após 7 dias.
  • Para compilar versões de lançamento do Android, é necessário criar sua própria configuração de chave de assinatura.

Em coleções

Rode LLMs localmenteFerramentas de privacidade e local-first

Tópicos

#flutter#llm#on-device-ai#llama-cpp#gguf#offline#multimodal#chat-client

Perguntas frequentes

O que é cross-platform-llm-client?
Um cliente de chat em Flutter que executa modelos GGUF no próprio dispositivo, em Android e iOS, ou se conecta a APIs na nuvem da OpenAI, Anthropic, Gemini ou Kimi. PrivateLM é um cliente multiplataforma de chat com IA, desenvolvido com Flutter. Ele executa inferência local de LLM em Android e iOS usando llama.cpp integrado por um plugin Flutter personalizado, com aceleração por GPU via Vulkan no Android e Metal no iOS. Os usuários podem baixar modelos GGUF para o dispositivo e conversar sem conexão com a internet depois que o download é concluído.
cross-platform-llm-client é gratuito? Qual é a licença?
cross-platform-llm-client é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
cross-platform-llm-client ainda é mantido?
Manutenção ativa. O último commit de cross-platform-llm-client foi em 4 de nov. de 2026.
Para que posso usar cross-platform-llm-client?
Conversar com um modelo local no celular sem enviar dados a um servidor. Usar um único cliente para alternar entre modelos no dispositivo e APIs na nuvem. Instalar manualmente um app privado de chat com IA no iPhone ou iPad via AltStore.
Como instalar cross-platform-llm-client?
Instalar as dependências do Flutter: flutter pub get Compilar o APK de depuração para Android: flutter build apk --debug Compilar o app web: flutter build web --release
Onde consigo cross-platform-llm-client?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/orailnoor/cross-platform-llm-client

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados