Repolode
Enviar
cactus-compute

cactus-compute/cactus

Motor de inferencia y runtime en C++ para ejecutar modelos LLM, de voz y visión en teléfonos, wearables, dispositivos de domótica y robots.

Ver en GitHubSitio web
Estrellas
6,148
Forks
519
Issues abiertos
115
Último commit
hace 27 días

¿Qué es?

Cactus es un motor de IA híbrido, entre el edge y la nube, dirigido a dispositivos móviles y wearables. Ofrece una API compatible con OpenAI para completar chats, transmitir respuestas, llamar herramientas, transcribir, generar embeddings, usar RAG y procesar imágenes; además, puede derivar una consulta a un modelo en la nube cuando la confianza del modelo local cae por debajo de un umbral.

La stack tiene cuatro capas: una API del motor, un grafo de computación sin copias, kernels ARM NEON y GPU optimizados para hardware de Apple, Samsung y Pixel, y un esquema propio de cuantización basado en rotación (Cactus Quants), que va de 4 bits a 1 bit. El proyecto publica benchmarks de los modelos Gemma, Qwen, Liquid, Whisper y Parakeet en hardware Mac y iPhone.

Cactus se puede instalar en macOS con Homebrew e incluye una CLI para ejecutar, descargar, convertir y servir modelos, además de bindings para Swift, Kotlin, Flutter, React Native, Python y Rust.

Funciones clave

  • 01Servidor HTTP local y API de C compatibles con OpenAI para chats, transmisión de respuestas y llamadas a herramientas.
  • 02Transcripción de voz e inferencia de visión y lenguaje en el dispositivo.
  • 03Derivación automática a la nube según la confianza del modelo local.
  • 04Cuantización CQ propia de 4 bits a 1 bit.
  • 05Kernels ARM NEON y GPU para hardware de Apple, Samsung y Pixel.
  • 06Bindings para Swift, Kotlin, Flutter, React Native, Python y Rust.

Casos de uso

  • Ejecutar un asistente privado en el dispositivo, dentro de una app móvil o de escritorio, sin enviar datos a un servidor.
  • Añadir transcripción de voz sin conexión a una app para wearables o smartphones.
  • Servir un endpoint local compatible con OpenAI para desarrollo en Mac.
  • Implementar modelos pequeños cuantizados en dispositivos de domótica o robots.

Inicio rápido

  1. 1

    Instala Cactus con Homebrew (macOS)

    brew install cactus-compute/cactus/cactus
  2. 2

    Ejecuta un modelo con Cactus CLI

    cactus run

Antes de usarlo

  • La licencia no está claramente especificada (los metadatos indican NOASSERTION), así que consulta el repositorio antes de usarlo con fines comerciales.
  • La demostración rápida se muestra para Mac y las tablas de rendimiento se centran en dispositivos Apple.
  • La conversión de modelos arbitrarios de HuggingFace se describe como experimental; solo se han probado especialmente algunas familias de modelos.

En colecciones

Ejecuta LLM en localHerramientas de vídeo y audio con IAApps para Android y herramientas para el móvil

Temas

#edge-ai#on-device-ai#llm-inference#quantization#mobile-inference#speech-recognition#rag#arm-neon#ai#android

Preguntas frecuentes

¿Qué es cactus?
Motor de inferencia y runtime en C++ para ejecutar modelos LLM, de voz y visión en teléfonos, wearables, dispositivos de domótica y robots. Cactus es un motor de IA híbrido, entre el edge y la nube, dirigido a dispositivos móviles y wearables. Ofrece una API compatible con OpenAI para completar chats, transmitir respuestas, llamar herramientas, transcribir, generar embeddings, usar RAG y procesar imágenes; además, puede derivar una consulta a un modelo en la nube cuando la confianza del modelo local cae por debajo de un umbral.
¿cactus es gratuito? ¿Qué licencia tiene?
cactus es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿cactus sigue mantenido?
Mantenimiento activo. El último commit de cactus fue el 26 sept 2026.
¿Para qué puedo usar cactus?
Ejecutar un asistente privado en el dispositivo, dentro de una app móvil o de escritorio, sin enviar datos a un servidor. Añadir transcripción de voz sin conexión a una app para wearables o smartphones. Servir un endpoint local compatible con OpenAI para desarrollo en Mac. Implementar modelos pequeños cuantizados en dispositivos de domótica o robots.
¿Cómo se instala cactus?
Instala Cactus con Homebrew (macOS): brew install cactus-compute/cactus/cactus Ejecuta un modelo con Cactus CLI: cactus run
¿Dónde consigo cactus?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/cactus-compute/cactus

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados