Repolode
Enviar
StanfordSpezi

StanfordSpezi/SpeziLLM

Paquete Swift de módulos LLM para el ecosistema Spezi, con modelos en el dispositivo, OpenAI e inferencia en nodos Fog.

Ver en GitHubSitio web
Estrellas
290
Forks
47
Issues abiertos
23
Último commit
el mes pasado

¿Qué es?

SpeziLLM es un paquete Swift para añadir funciones de modelos de lenguaje grandes a aplicaciones para plataformas Apple basadas en el framework Spezi. Se divide en varios targets: un ejecutor base, SpeziLLM; SpeziLLMLocal, para ejecutar directamente en el dispositivo modelos de código abierto como Llama, Phi, Gemma y DeepSeek-R1; SpeziLLMLocalDownload, para descargar modelos de Hugging Face mediante una vista de incorporación; SpeziLLMOpenAI, para llamar a modelos GPT de OpenAI; y SpeziLLMFog, para enviar tareas de inferencia a nodos Fog en la red local.

Todos los targets ofrecen API de Swift puras. Las sesiones se crean a partir de esquemas mediante un LLMRunner inyectado en el entorno de SwiftUI, y la generación devuelve un flujo asíncrono de tokens de texto. SpeziLLMOpenAI también incluye un DSL declarativo para las llamadas a funciones de OpenAI, y SpeziLLM ofrece una vista de chat lista para usar.

La ejecución local se basa en mlx-swift y no funciona en el simulador de iOS o macOS, ya que requiere una familia de GPU Metal que el simulador no tiene. La detección de nodos Fog utiliza Bonjour y requiere entradas específicas en Info.plist.

Funciones clave

  • 01Ejecuta LLM de código abierto localmente en dispositivos Apple mediante API de Swift.
  • 02Llama a modelos GPT de OpenAI con un DSL declarativo para las llamadas a funciones.
  • 03Detecta nodos Fog en la red local y les envía tareas de inferencia mediante Bonjour.
  • 04Ofrece un administrador de descargas y una vista de incorporación para modelos locales de Hugging Face.
  • 05Incluye una vista de chat de SwiftUI lista para usar en conversaciones con LLM.

Casos de uso

  • Añadir un chatbot en el dispositivo a una aplicación para iOS o macOS basada en Spezi.
  • Crear una aplicación de SwiftUI que llame a modelos de OpenAI con llamadas a funciones al estilo de herramientas.
  • Ejecutar inferencias desde una aplicación móvil en equipos de laboratorio o clínicas conectados a una red local.

Inicio rápido

  1. 1

    Añade el paquete Swift SpeziLLM a tu app en Xcode o como dependencia de un paquete Swift

  2. 2

    Sigue los pasos de configuración del target específico que necesites (p. ej., SpeziLLMLocal o SpeziLLMOpenAI)

Antes de usarlo

  • Spezi LLM Local no se ejecuta en simuladores porque requiere una GPU Metal moderna.
  • Algunos modelos locales requieren el entitlement Increase Memory Limit.
  • El target OpenAI depende del servicio de API de OpenAI y requiere un token de autenticación.

En colecciones

Apps open source para MacChatbots de IA y clientes de chat

Temas

#swift#llm#ios#macos#on-device-ai#openai#swiftui#large-language-models#chatbot#gpt

Preguntas frecuentes

¿Qué es SpeziLLM?
Paquete Swift de módulos LLM para el ecosistema Spezi, con modelos en el dispositivo, OpenAI e inferencia en nodos Fog. SpeziLLM es un paquete Swift para añadir funciones de modelos de lenguaje grandes a aplicaciones para plataformas Apple basadas en el framework Spezi. Se divide en varios targets: un ejecutor base, SpeziLLM; SpeziLLMLocal, para ejecutar directamente en el dispositivo modelos de código abierto como Llama, Phi, Gemma y DeepSeek-R1; SpeziLLMLocalDownload, para descargar modelos de Hugging Face mediante una vista de incorporación; SpeziLLMOpenAI, para llamar a modelos GPT de OpenAI; y SpeziLLMFog, para enviar tareas de inferencia a nodos Fog en la red local.
¿SpeziLLM es gratuito? ¿Qué licencia tiene?
SpeziLLM es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿SpeziLLM sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de SpeziLLM fue el 27 sept 2026.
¿Para qué puedo usar SpeziLLM?
Añadir un chatbot en el dispositivo a una aplicación para iOS o macOS basada en Spezi. Crear una aplicación de SwiftUI que llame a modelos de OpenAI con llamadas a funciones al estilo de herramientas. Ejecutar inferencias desde una aplicación móvil en equipos de laboratorio o clínicas conectados a una red local.
¿Cómo se instala SpeziLLM?
Añade el paquete Swift SpeziLLM a tu app en Xcode o como dependencia de un paquete Swift Sigue los pasos de configuración del target específico que necesites (p. ej., SpeziLLMLocal o SpeziLLMOpenAI)
¿Dónde consigo SpeziLLM?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/StanfordSpezi/SpeziLLM

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados