Repolode
Enviar
cactus-compute

cactus-compute/cactus

Um mecanismo de inferência e runtime em C++ para executar modelos de LLM, fala e visão em celulares, wearables, dispositivos de casa inteligente e robôs.

Ver no GitHubSite
Estrelas
6,148
Forks
519
Issues abertas
115
Último commit
há 27 dias

O que é?

Cactus é um mecanismo de IA híbrido de edge e nuvem voltado a dispositivos móveis e wearables. Ele oferece uma API compatível com OpenAI para conclusão de chat, streaming, chamada de ferramentas, transcrição, embeddings, RAG e visão, além de poder encaminhar uma consulta para um modelo na nuvem quando a confiança do modelo local fica abaixo de um limite.

A stack tem quatro camadas: uma API de mecanismo, um grafo de computação sem cópia, kernels ARM NEON e de GPU ajustados para hardware Apple, Samsung e Pixel, e um esquema próprio de quantização baseada em rotações (Cactus Quants), que vai de 4 bits a 1 bit. O projeto publica benchmarks dos modelos Gemma, Qwen, Liquid, Whisper e Parakeet em hardware Mac e iPhone.

O Cactus pode ser instalado no macOS com Homebrew e inclui uma CLI para executar, baixar, converter e servir modelos, além de bindings para Swift, Kotlin, Flutter, React Native, Python e Rust.

Recursos principais

  • 01Servidor HTTP local compatível com OpenAI e API C para chat, streaming e chamada de ferramentas.
  • 02Transcrição de fala e inferência de visão e linguagem no dispositivo.
  • 03Encaminhamento automático para a nuvem com base na confiança do modelo local.
  • 04Quantização CQ própria, de 4 bits a 1 bit.
  • 05Kernels ARM NEON e de GPU para hardware Apple, Samsung e Pixel.
  • 06Bindings para Swift, Kotlin, Flutter, React Native, Python e Rust.

Casos de uso

  • Executar um assistente privado no dispositivo, em um app móvel ou desktop, sem enviar dados a um servidor.
  • Adicionar transcrição de fala offline a um app para wearable ou smartphone.
  • Disponibilizar um endpoint local compatível com OpenAI para desenvolvimento em um Mac.
  • Implantar modelos quantizados pequenos em dispositivos de casa inteligente ou robôs.

Início rápido

  1. 1

    Instale o Cactus com o Homebrew (macOS)

    brew install cactus-compute/cactus/cactus
  2. 2

    Execute um modelo com o Cactus CLI

    cactus run

Antes de usar

  • A licença não está claramente especificada (os metadados indicam NOASSERTION), então verifique o repositório antes de usar o projeto comercialmente.
  • A demonstração rápida é apresentada para Mac, e as tabelas de benchmark se concentram em dispositivos Apple.
  • A conversão de modelos arbitrários do HuggingFace é descrita como experimental; apenas algumas famílias de modelos foram testadas de forma mais abrangente.

Em coleções

Rode LLMs localmenteFerramentas de vídeo e áudio com IAApps para Android e ferramentas para celular

Tópicos

#edge-ai#on-device-ai#llm-inference#quantization#mobile-inference#speech-recognition#rag#arm-neon#ai#android

Perguntas frequentes

O que é cactus?
Um mecanismo de inferência e runtime em C++ para executar modelos de LLM, fala e visão em celulares, wearables, dispositivos de casa inteligente e robôs. Cactus é um mecanismo de IA híbrido de edge e nuvem voltado a dispositivos móveis e wearables. Ele oferece uma API compatível com OpenAI para conclusão de chat, streaming, chamada de ferramentas, transcrição, embeddings, RAG e visão, além de poder encaminhar uma consulta para um modelo na nuvem quando a confiança do modelo local fica abaixo de um limite.
cactus é gratuito? Qual é a licença?
cactus é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
cactus ainda é mantido?
Manutenção ativa. O último commit de cactus foi em 26 de set. de 2026.
Para que posso usar cactus?
Executar um assistente privado no dispositivo, em um app móvel ou desktop, sem enviar dados a um servidor. Adicionar transcrição de fala offline a um app para wearable ou smartphone. Disponibilizar um endpoint local compatível com OpenAI para desenvolvimento em um Mac. Implantar modelos quantizados pequenos em dispositivos de casa inteligente ou robôs.
Como instalar cactus?
Instale o Cactus com o Homebrew (macOS): brew install cactus-compute/cactus/cactus Execute um modelo com o Cactus CLI: cactus run
Onde consigo cactus?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/cactus-compute/cactus

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados