Среда выполнения на Swift и Metal для запуска Gemma 4 26B-A4B на Mac с Apple Silicon и примерно 2 ГБ памяти за счёт потоковой загрузки экспертов с SSD.
6,9 тыс.458SwiftApache-2.0Обновлён 4 дня назад
#on-device-ai
Open source проекты по теме «on-device-ai»
Отобранные репозитории GitHub по теме on-device-ai с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
5 репозиториев
Приложение для чата с документами на macOS и iOS, которое отвечает на вопросы о ваших файлах с помощью Apple Foundation Models, полностью на устройстве.
1978SwiftMITОбновлён 6 месяцев назад
Запускает Claude Code с открытыми AI-моделями на Mac с Apple Silicon через Anthropic API-сервер на базе MLX — без облачных моделей и API-ключа.
3,4 тыс.650PythonMITОбновлён 3 дня назад
Базовая модель размером 8–29 МБ для телефонов, носимых устройств, роботов и микроконтроллеров, которая on-device обрабатывает вызовы инструментов, структурированное извлечение данных, эмбеддинги и распознавание речи.
14,1 тыс.1,1 тыс.PythonApache-2.0Обновлён 7 часов назад
C++-движок edge AI, который превращает видеоаналитику и VLM-модели на устройстве в приложения для Sophon, Rockchip RKNN и x86.
1,8 тыс.311CApache-2.0Обновлён 3 дня назад