StanfordSpezi/SpeziLLM

Что это?

Ключевые возможности

• 01Запускает open-source LLM локально на устройствах Apple через API на Swift.
• 02Вызывает модели OpenAI GPT с помощью декларативного DSL для вызова функций.
• 03Обнаруживает узлы Fog в локальной сети через Bonjour и отправляет им задачи инференса.
• 04Предоставляет менеджер загрузок и экран первоначальной настройки для локальных моделей с Hugging Face.
• 05Включает готовый чат-интерфейс на SwiftUI для общения с LLM.

Сценарии использования

• Добавление чат-бота, работающего на устройстве, в приложение для iOS или macOS на базе Spezi.
• Создание приложения на SwiftUI, которое вызывает модели OpenAI с поддержкой вызова функций в стиле инструментов.
• Запуск инференса на оборудовании лаборатории или клиники в локальной сети через мобильное приложение.

Быстрый старт

1. 1

   Добавьте Swift-пакет SpeziLLM в приложение через Xcode или как зависимость Swift package

2. 2

   Выполните инструкции по настройке нужного вам target (например, SpeziLLMLocal или SpeziLLMOpenAI)

Что важно знать

• !Spezi LLM Local не запускается в симуляторах, поскольку требует современный графический процессор Metal.
• !Для некоторых локальных моделей требуется entitlement Increase Memory Limit.
• !Target OpenAI зависит от API-сервиса OpenAI и требует токен авторизации.

В подборках

Темы

Частые вопросы

Что такое SpeziLLM?

Swift-пакет с модулями LLM для экосистемы Spezi: локальные модели на устройстве, OpenAI и инференс на узлах Fog. SpeziLLM — это Swift Package для добавления функций на базе больших языковых моделей в приложения для платформ Apple, созданные на фреймворке Spezi. Пакет разделён на targets: базовый runner SpeziLLM, SpeziLLMLocal для запуска прямо на устройстве open-source моделей, таких как Llama, Phi, Gemma и DeepSeek-R1, SpeziLLMLocalDownload для загрузки моделей с Hugging Face с помощью экрана первоначальной настройки, SpeziLLMOpenAI для вызова моделей OpenAI GPT и SpeziLLMFog для отправки задач инференса узлам Fog в локальной сети.

SpeziLLM можно использовать бесплатно? Какая у него лицензия?

SpeziLLM распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

SpeziLLM всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в SpeziLLM — 27 сент. 2026 г..

Для чего можно использовать SpeziLLM?

Добавление чат-бота, работающего на устройстве, в приложение для iOS или macOS на базе Spezi. Создание приложения на SwiftUI, которое вызывает модели OpenAI с поддержкой вызова функций в стиле инструментов. Запуск инференса на оборудовании лаборатории или клиники в локальной сети через мобильное приложение.

Как установить SpeziLLM?

Добавьте Swift-пакет SpeziLLM в приложение через Xcode или как зависимость Swift package Выполните инструкции по настройке нужного вам target (например, SpeziLLMLocal или SpeziLLMOpenAI)

Где скачать SpeziLLM?

Исходный код и инструкции по установке — на GitHub: https://github.com/StanfordSpezi/SpeziLLM