Repolode
Предложить
Generated-Computers

Generated-Computers/Locals

Локальный сервер инференса для Mac с Apple silicon, который обслуживает множество AI-агентов для программирования одновременно, пакетно декодирует ответы и ограничивает вызовы инструментов грамматикой.

Открыть на GitHubСайт
Звёзды
635
Форки
40
Открытые issues
7
Последний коммит
вчера

Что это?

Locals — локальный сервер моделей для Mac, рассчитанный на работу с агентами, а не только на обычный чат. Агенты отправляют вызовы инструментов, ведут долгие диалоги и выполняют множество запросов параллельно, а Locals обрабатывает их с помощью пакетных GPU-ядер, ограничивает вывод вызовов инструментов схемой каждого инструмента и сохраняет кэш промптов между ходами и перезапусками. Согласно README, при одновременном выполнении восьми запросов на M2 Pro с 16 GB и моделью Qwen3.5-4B пропускная способность может быть до 3 раз выше, чем у mlx-lm.

Сервер предоставляет API, совместимые с OpenAI, Anthropic и Ollama, поэтому такие инструменты, как OpenCode, Cline, Aider, OpenHands, Claude Code и Hermes Agent, можно подключить одной командой запуска, например `locals code ~/my-project`. В Locals также есть режим `locals run`, который распределяет задачу между несколькими агентами: каждый работает со своей копией проекта, а результат проверяется тестами проекта. Всё выполняется локально; для работы нужен Mac с Apple silicon и macOS 14 или новее.

Ключевые возможности

  • 01Пакетное декодирование позволяет нескольким запросам агентов совместно использовать один проход на GPU.
  • 02Вызовы инструментов ограничены схемой инструмента, поэтому аргументы соответствуют заданным типам.
  • 03Кэш промптов и диалогов сохраняется между ходами и перезапусками.
  • 04Совместимость с API OpenAI, Anthropic и Ollama.
  • 05Запуск OpenCode, Aider, Cline, OpenHands, Claude Code и других инструментов одной командой.
  • 06Режим `locals run` для нескольких агентов проверяет каждую часть задачи в изолированной копии проекта.

Сценарии использования

  • Параллельный запуск нескольких агентов для программирования на Mac без отправки кода в облачный API.
  • Работа над локальным проектом в OpenCode или Aider с моделью, запущенной на ноутбуке.
  • Предоставление локальной конечной точки, совместимой с OpenAI API, для расширений редактора, таких как Cline или Roo Code.
  • Вопросы о большой кодовой базе или документе с длинным контекстом, который кэшируется.

Быстрый старт

  1. 1

    Запустите официальный скрипт установки из README

  2. 2

    Или установите из PyPI с помощью uv

    uv tool install --python 3.12 locals
  3. 3

    Откройте новое окно Terminal и запустите OpenCode в своём проекте

    locals code ~/my-project

Что важно знать

  • Работает только в macOS на компьютерах с Apple silicon.
  • Для Flint требуется не менее 24 GB памяти, а последний выпуск Flint пока недоступен на PyPI.
  • Некоторые чипы (M1, M3, M4) ещё не прошли тестирование производительности.

В подборках

Программирование с локальными LLMOpen source фреймворки и приложения для ИИ-агентовИИ-ассистенты и агенты для программированияЗапуск LLM локальноOpen source приложения для Mac

Темы

#ai-agents#local-llm#apple-silicon#mlx#inference-engine#coding-agents#openai-compatible#macos#agents#artificial-intelligence

Частые вопросы

Что такое Locals?
Локальный сервер инференса для Mac с Apple silicon, который обслуживает множество AI-агентов для программирования одновременно, пакетно декодирует ответы и ограничивает вызовы инструментов грамматикой. Locals — локальный сервер моделей для Mac, рассчитанный на работу с агентами, а не только на обычный чат. Агенты отправляют вызовы инструментов, ведут долгие диалоги и выполняют множество запросов параллельно, а Locals обрабатывает их с помощью пакетных GPU-ядер, ограничивает вывод вызовов инструментов схемой каждого инструмента и сохраняет кэш промптов между ходами и перезапусками. Согласно README, при одновременном выполнении восьми запросов на M2 Pro с 16 GB и моделью Qwen3.5-4B пропускная способность может быть до 3 раз выше, чем у mlx-lm.
Locals можно использовать бесплатно? Какая у него лицензия?
Locals распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Locals всё ещё поддерживается?
Активно поддерживается. Последний коммит в Locals — 6 нояб. 2026 г..
Для чего можно использовать Locals?
Параллельный запуск нескольких агентов для программирования на Mac без отправки кода в облачный API. Работа над локальным проектом в OpenCode или Aider с моделью, запущенной на ноутбуке. Предоставление локальной конечной точки, совместимой с OpenAI API, для расширений редактора, таких как Cline или Roo Code. Вопросы о большой кодовой базе или документе с длинным контекстом, который кэшируется.
Как установить Locals?
Запустите официальный скрипт установки из README Или установите из PyPI с помощью uv: uv tool install --python 3.12 locals Откройте новое окно Terminal и запустите OpenCode в своём проекте: locals code ~/my-project
Где скачать Locals?
Исходный код и инструкции по установке — на GitHub: https://github.com/Generated-Computers/Locals

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

nicedreamzapp / claude-code-local

Запускает открытые модели ИИ локально на Mac с Apple Silicon с помощью MLX и предоставляет их через сервер, совместимый с Anthropic API, чтобы Claude Code работал без интернета.

ИИ и машинное обучение#local-llm#apple-silicon#mlx
3,5 тыс.+77 за неделю648PythonMITАктивно поддерживаетсяОбновлён 4 дня назад