Repolode
fikrikarim

fikrikarim/parlor

Полностью локальный голосовой и камерный AI-ассистент с ответами в реальном времени на базе Gemma 4 и llama.cpp для Apple Silicon и Linux.

Open source альтернатива:ChatGPT Advanced Voice

Звёзды
2,112
Форки
281
Открытые issues
1
Последний коммит
3 месяца назад

Что это?

Parlor — мультимодальный ассистент с самостоятельным хостингом, который в реальном времени слушает через микрофон и видит через камеру, а затем отвечает вслух. Весь конвейер работает на устройстве пользователя: Gemma 4 E4B через llama.cpp обрабатывает речь и изображение, Kokoro преобразует текст в речь, а smart-turn-v3 из Pipecat определяет, когда пользователь закончил говорить. Веб-интерфейс захватывает аудио и JPEG-кадры и передаёт их по WebSocket, а сервер FastAPI управляет циклом диалога.

Проект ориентирован на низкую задержку и естественный диалог. Ответы начинаются с транскрипции, а затем озвучиваются по предложениям прямо во время генерации; если начать говорить поверх ассистента, он прервётся. Таймеры, переключение режимов, например для синхронного перевода и молчаливого ведения заметок, а также необязательный фоновый поиск, который делегирует вопросы о вебе модели с совместимым с OpenAI API, обрабатываются отдельным запросом действия. Поиск отключён, пока не настроен API-ключ.

Автор описывает проект как предварительную исследовательскую версию — локальную альтернативу голосовым ассистентам в стиле GPT-Live — и отмечает, что при разработке кода активно использовался AI.

Ключевые возможности

  • 01Распознавание речи, обработка изображений и генерация ответов выполняются локально на устройстве с помощью Gemma 4 через llama.cpp.
  • 02Свободный диалог без необходимости нажимать кнопки: Silero VAD и smart-turn-v3 определяют конец реплики.
  • 03Транскрипция и озвученные ответы выдаются по предложениям; ассистента можно перебить.
  • 04Поддерживаются таймеры с обратным отсчётом и кнопкой отмены.
  • 05Есть режимы синхронного перевода и простого прослушивания.
  • 06Необязательный фоновый поиск через любую конечную точку, совместимую с OpenAI API.

Сценарии использования

  • Практика разговорного английского с приватным бесплатным голосовым репетитором на домашнем сервере или ноутбуке.
  • Размышления вслух с транскрибированием заметок ассистентом без ответа голосом.
  • Последовательный устный перевод разговоров на любых языках, которые понимает Gemma.
  • Эксперименты с локальными мультимодальными ассистентами на Mac с Apple Silicon.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/fikrikarim/parlor.git
  2. 2

    Перейдите в каталог проекта

    cd parlor
  3. 3

    Установите llama.cpp (macOS)

    brew install llama.cpp
  4. 4

    Установите зависимости и запустите сервер, затем откройте http://localhost:8000

    uv sync && uv run parlor

Что важно знать

  • Исследовательская предварительная версия: возможны недоработки и ошибки.
  • Требуется macOS на Apple Silicon или поддерживаемый GPU для Linux, а также сборка llama.cpp b9503 или новее.
  • Для модели по умолчанию требуется около 6 GB свободной RAM, а при первом запуске нужно скачать модель размером примерно 5,7 GB.

В подборках

Темы

Частые вопросы

Что такое parlor?
Полностью локальный голосовой и камерный AI-ассистент с ответами в реальном времени на базе Gemma 4 и llama.cpp для Apple Silicon и Linux. Parlor — мультимодальный ассистент с самостоятельным хостингом, который в реальном времени слушает через микрофон и видит через камеру, а затем отвечает вслух. Весь конвейер работает на устройстве пользователя: Gemma 4 E4B через llama.cpp обрабатывает речь и изображение, Kokoro преобразует текст в речь, а smart-turn-v3 из Pipecat определяет, когда пользователь закончил говорить. Веб-интерфейс захватывает аудио и JPEG-кадры и передаёт их по WebSocket, а сервер FastAPI управляет циклом диалога.
parlor можно использовать бесплатно? Какая у него лицензия?
parlor распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
parlor всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в parlor — 3 авг. 2026 г..
Для чего можно использовать parlor?
Практика разговорного английского с приватным бесплатным голосовым репетитором на домашнем сервере или ноутбуке. Размышления вслух с транскрибированием заметок ассистентом без ответа голосом. Последовательный устный перевод разговоров на любых языках, которые понимает Gemma. Эксперименты с локальными мультимодальными ассистентами на Mac с Apple Silicon.
Как установить parlor?
Клонируйте репозиторий: git clone https://github.com/fikrikarim/parlor.git Перейдите в каталог проекта: cd parlor Установите llama.cpp (macOS): brew install llama.cpp Установите зависимости и запустите сервер, затем откройте http://localhost:8000: uv sync && uv run parlor
Где скачать parlor?
Исходный код и инструкции по установке — на GitHub: https://github.com/fikrikarim/parlor

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты