Repolode
Enviar
StanfordSpezi

StanfordSpezi/SpeziLLM

Pacote Swift com módulos de LLM para o ecossistema Spezi, incluindo modelos no dispositivo, OpenAI e inferência em nós Fog.

Ver no GitHubSite
Estrelas
290
Forks
47
Issues abertas
23
Último commit
mês passado

O que é?

SpeziLLM é um pacote Swift que adiciona recursos de modelos de linguagem grandes a apps para plataformas Apple desenvolvidos com o framework Spezi. Ele é dividido em targets: o runner básico SpeziLLM, SpeziLLMLocal, para executar diretamente no dispositivo modelos open source como Llama, Phi, Gemma e DeepSeek-R1; SpeziLLMLocalDownload, para baixar modelos do Hugging Face com uma tela de onboarding; SpeziLLMOpenAI, para chamar modelos GPT da OpenAI; e SpeziLLMFog, para encaminhar tarefas de inferência a nós Fog na rede local.

Todos os targets oferecem APIs Swift puras. As sessões são criadas a partir de schemas por meio de um LLMRunner injetado no ambiente do SwiftUI, e a geração retorna um fluxo assíncrono de tokens de texto. SpeziLLMOpenAI também oferece uma DSL declarativa para chamadas de funções da OpenAI, e o SpeziLLM inclui uma tela de chat pronta para uso.

A execução local é baseada no mlx-swift e não funciona no simulador de iOS ou macOS, pois exige uma família de GPU Metal que o simulador não oferece. A descoberta de nós Fog usa Bonjour e requer entradas específicas no Info.plist.

Recursos principais

  • 01Executa LLMs open source localmente em dispositivos Apple por meio de APIs Swift.
  • 02Chama modelos GPT da OpenAI com uma DSL declarativa para chamadas de funções.
  • 03Descobre nós Fog na rede local e encaminha tarefas de inferência a eles via Bonjour.
  • 04Oferece um gerenciador de downloads e uma tela de onboarding para modelos locais do Hugging Face.
  • 05Inclui uma tela de chat SwiftUI pronta para conversas com LLMs.

Casos de uso

  • Adicionar um chatbot no dispositivo a um app para iOS ou macOS desenvolvido com Spezi.
  • Desenvolver um app SwiftUI que chama modelos da OpenAI com chamadas de funções no estilo de ferramentas.
  • Executar inferência em equipamentos de laboratório ou clínica na rede local a partir de um app móvel.

Início rápido

  1. 1

    Adicione o pacote Swift SpeziLLM ao seu app pelo Xcode ou como dependência de um pacote Swift

  2. 2

    Siga as etapas de configuração do target específico de que você precisa (por exemplo, SpeziLLMLocal ou SpeziLLMOpenAI)

Antes de usar

  • O Spezi LLM Local não é executado em simuladores porque requer uma GPU Metal moderna.
  • Alguns modelos locais exigem o entitlement Increase Memory Limit.
  • O target OpenAI depende do serviço de API da OpenAI e requer um token de autenticação.

Em coleções

Apps open source para MacChatbots de IA e clientes de chat

Tópicos

#swift#llm#ios#macos#on-device-ai#openai#swiftui#large-language-models#chatbot#gpt

Perguntas frequentes

O que é SpeziLLM?
Pacote Swift com módulos de LLM para o ecossistema Spezi, incluindo modelos no dispositivo, OpenAI e inferência em nós Fog. SpeziLLM é um pacote Swift que adiciona recursos de modelos de linguagem grandes a apps para plataformas Apple desenvolvidos com o framework Spezi. Ele é dividido em targets: o runner básico SpeziLLM, SpeziLLMLocal, para executar diretamente no dispositivo modelos open source como Llama, Phi, Gemma e DeepSeek-R1; SpeziLLMLocalDownload, para baixar modelos do Hugging Face com uma tela de onboarding; SpeziLLMOpenAI, para chamar modelos GPT da OpenAI; e SpeziLLMFog, para encaminhar tarefas de inferência a nós Fog na rede local.
SpeziLLM é gratuito? Qual é a licença?
SpeziLLM é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
SpeziLLM ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de SpeziLLM foi em 27 de set. de 2026.
Para que posso usar SpeziLLM?
Adicionar um chatbot no dispositivo a um app para iOS ou macOS desenvolvido com Spezi. Desenvolver um app SwiftUI que chama modelos da OpenAI com chamadas de funções no estilo de ferramentas. Executar inferência em equipamentos de laboratório ou clínica na rede local a partir de um app móvel.
Como instalar SpeziLLM?
Adicione o pacote Swift SpeziLLM ao seu app pelo Xcode ou como dependência de um pacote Swift Siga as etapas de configuração do target específico de que você precisa (por exemplo, SpeziLLMLocal ou SpeziLLMOpenAI)
Onde consigo SpeziLLM?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/StanfordSpezi/SpeziLLM

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados