Repolode
Предложить
ggml-org

ggml-org/Llama-macOS

Приложение для строки меню macOS, запускающее локальные LLM на базе llama.cpp и предоставляющее локальный API-сервер со встроенным WebUI.

Open source альтернатива:LM StudioOllama

Открыть на GitHubСайт
Звёзды
1,652
Форки
130
Открытые issues
10
Последний коммит
позавчера

Что это?

Llama — приложение для строки меню macOS, которое запускает большие языковые модели прямо на Mac. При запуске оно поднимает локальный сервер на localhost:9931 с совместимым с OpenAI эндпоинтом /v1, к которому могут подключаться другие приложения, агенты для программирования и редакторы. Если llama.cpp уже установлен, приложение использует его; в противном случае устанавливает готовый бинарный файл для вашего Mac.

Приложение умеет загружать любые модели GGUF с Hugging Face и рекомендует модели, подходящие для аппаратных возможностей вашего Mac. Модели используют общий кэш Hugging Face с llama.cpp и другими инструментами, загружаются по запросу и выгружаются при простое, чтобы освободить память. Настройки для каждой модели генерируются автоматически, но их можно переопределить с помощью пользовательского INI-файла.

По умолчанию сервер доступен только с локального компьютера. В настройках можно открыть к нему доступ через Tailscale или по локальной сети, однако в этом режиме сервер не защищён паролем.

Ключевые возможности

  • 01Запускает модели целиком на Mac, не передавая данные за пределы устройства.
  • 02Предоставляет локальный API, совместимый с OpenAI, по адресу localhost:9931/v1.
  • 03Включает встроенный WebUI для общения с моделями.
  • 04Автоматически настраивает параметры моделей и рекомендует модели для вашего оборудования.
  • 05Загружает модели по запросу и выгружает их при простое.
  • 06Использует общий кэш моделей Hugging Face с llama.cpp.

Сценарии использования

  • Запуск приватных чат-ассистентов или помощников для программирования без отправки запросов в облачный сервис.
  • Подключение локальных агентов для программирования или редакторов к модели, работающей на вашем Mac.
  • Тестирование моделей GGUF с Hugging Face на оборудовании Apple без ручной настройки.
  • Доступ к модели на Mac с других устройств через Tailscale.

Быстрый старт

  1. 1

    Установите через Homebrew

    brew install --cask llama-app
  2. 2

    Или скачайте приложение со страницы Releases

  3. 3

    Запустите Llama — локальный сервер будет работать по адресу http://localhost:9931/v1

Что важно знать

  • Только для macOS.
  • При включённом сетевом доступе у сервера по умолчанию нет пароля, поэтому его следует открывать только в доверенных сетях.

Темы

#llm#local-llm#llama-cpp#macos#gguf#openai-compatible-api#menu-bar-app#ai#llms#swift

Частые вопросы

Что такое Llama-macOS?
Приложение для строки меню macOS, запускающее локальные LLM на базе llama.cpp и предоставляющее локальный API-сервер со встроенным WebUI. Llama — приложение для строки меню macOS, которое запускает большие языковые модели прямо на Mac. При запуске оно поднимает локальный сервер на localhost:9931 с совместимым с OpenAI эндпоинтом /v1, к которому могут подключаться другие приложения, агенты для программирования и редакторы. Если llama.cpp уже установлен, приложение использует его; в противном случае устанавливает готовый бинарный файл для вашего Mac.
Llama-macOS можно использовать бесплатно? Какая у него лицензия?
Llama-macOS распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Llama-macOS всё ещё поддерживается?
Активно поддерживается. Последний коммит в Llama-macOS — 18 окт. 2026 г..
Для чего можно использовать Llama-macOS?
Запуск приватных чат-ассистентов или помощников для программирования без отправки запросов в облачный сервис. Подключение локальных агентов для программирования или редакторов к модели, работающей на вашем Mac. Тестирование моделей GGUF с Hugging Face на оборудовании Apple без ручной настройки. Доступ к модели на Mac с других устройств через Tailscale.
Как установить Llama-macOS?
Установите через Homebrew: brew install --cask llama-app Или скачайте приложение со страницы Releases Запустите Llama — локальный сервер будет работать по адресу http://localhost:9931/v1
Где скачать Llama-macOS?
Исходный код и инструкции по установке — на GitHub: https://github.com/ggml-org/Llama-macOS

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты