Repolode
Enviar
trymirai

trymirai/uzu

Um mecanismo de inferência em Rust para executar modelos de IA diretamente nos apps, com execução no dispositivo em aparelhos Apple e modelos opcionais na nuvem.

Ver no GitHubSite
Estrelas
2,459
Forks
148
Issues abertas
25
Último commit
há 4 horas

O que é?

uzu é um mecanismo de inferência para executar modelos de IA no seu próprio aplicativo, com o objetivo de evitar latência de rede, manter os dados no dispositivo e eliminar custos de inferência por solicitação. Ele oferece uma API de alto nível para sessões de chat, com bindings para Rust, Python, Swift e TypeScript, e cuida automaticamente do download dos modelos e da configuração da inferência.

O mecanismo usa memória unificada em dispositivos Apple e é distribuído como um Swift Package para iOS, macOS e Mac Catalyst, além de pacotes npm e PyPI. As configurações dos modelos são unificadas, então adicionar suporte a um novo modelo segue um padrão comum; os cálculos também podem ser rastreados para verificar a correção em relação a uma implementação de referência. Os exemplos incluem chat básico, respostas em streaming, modelos hospedados na nuvem, instâncias compartilhadas de modelos, saída estruturada com JSON Schema e chamadas de ferramentas.

Cada modelo carregado pode usar uma quantidade significativa de RAM, por isso o projeto recomenda manter apenas uma sessão de chat carregada por vez. A documentação explica como personalizar cada etapa do pipeline.

Recursos principais

  • 01Oferece uma API de alto nível para sessões de chat, com bindings para Rust, Python, Swift e TypeScript.
  • 02Executa modelos no próprio dispositivo e usa memória unificada em dispositivos Apple.
  • 03Oferece suporte a saídas estruturadas limitadas por um JSON Schema.
  • 04Oferece suporte a chamadas de ferramentas para que os modelos invoquem funções externas.
  • 05Permite reutilizar um modelo carregado em várias sessões de chat.
  • 06Também oferece suporte a chamadas de modelos na nuvem, como o GPT-5 da OpenAI.

Casos de uso

  • Adicionar um recurso de chat com LLM no próprio dispositivo a um app para iOS ou macOS, sem enviar dados do usuário para um servidor.
  • Gerar respostas em formato JSON com um modelo local para processamento posterior.
  • Criar um app que permita a um modelo chamar funções locais, como buscar a localização do dispositivo.

Início rápido

  1. 1

    Adicione o pacote Python com uv

    uv add uzu==0.6.11
  2. 2

    Crie o mecanismo, carregue o modelo, faça o download dele e inicie uma sessão de chat usando o exemplo de Python do README

Antes de usar

  • A inferência principal é voltada para dispositivos Apple; a execução no dispositivo está disponível para iOS e macOS.
  • As opções de modelos na nuvem exigem um serviço externo, em vez de inferência totalmente local.
  • O crate Rust é obtido de uma ramificação do git, e não de uma versão estável no crates.io.

Tópicos

#inference#llm#rust#on-device-ai#apple-silicon#metal#swift#tts#ai#high-performance

Perguntas frequentes

O que é uzu?
Um mecanismo de inferência em Rust para executar modelos de IA diretamente nos apps, com execução no dispositivo em aparelhos Apple e modelos opcionais na nuvem. uzu é um mecanismo de inferência para executar modelos de IA no seu próprio aplicativo, com o objetivo de evitar latência de rede, manter os dados no dispositivo e eliminar custos de inferência por solicitação. Ele oferece uma API de alto nível para sessões de chat, com bindings para Rust, Python, Swift e TypeScript, e cuida automaticamente do download dos modelos e da configuração da inferência.
uzu é gratuito? Qual é a licença?
uzu é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
uzu ainda é mantido?
Manutenção ativa. O último commit de uzu foi em 21 de out. de 2026.
Para que posso usar uzu?
Adicionar um recurso de chat com LLM no próprio dispositivo a um app para iOS ou macOS, sem enviar dados do usuário para um servidor. Gerar respostas em formato JSON com um modelo local para processamento posterior. Criar um app que permita a um modelo chamar funções locais, como buscar a localização do dispositivo.
Como instalar uzu?
Adicione o pacote Python com uv: uv add uzu==0.6.11 Crie o mecanismo, carregue o modelo, faça o download dele e inicie uma sessão de chat usando o exemplo de Python do README
Onde consigo uzu?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/trymirai/uzu

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados