Repolode
fikrikarim

fikrikarim/parlor

基于 Gemma 4 与 llama.cpp 的全本地实时语音与摄像头 AI 助手,可在 Apple Silicon 或 Linux 上运行。

可替代:ChatGPT Advanced Voice

Star
2,112
Fork
281
未关闭 Issue
1
最近提交
3个月前

这是什么?

Parlor 是一个可自托管的实时多模态助手,通过麦克风听、通过摄像头看,并用语音回答。整个流程都在本机运行:llama.cpp 提供的 Gemma 4 E4B 负责语音识别与图像理解,Kokoro 负责语音合成,Pipecat 的 smart-turn-v3 判断用户是否说完。浏览器端通过 WebSocket 发送音频与 JPEG 画面,FastAPI 服务端负责对话循环。

项目重视低延迟和自然对话。回复会先显示听到内容的转写,并在生成过程中逐句朗读;用户可以直接打断。计时器、实时翻译、静默记录等模式切换由独立的动作请求完成。可选的后台研究功能会把联网问题交给兼容 OpenAI 接口的远程模型处理,未配置 API Key 时该功能关闭,系统完全离线运行。项目作者称其为研究预览版本。

核心功能

  • 01通过 llama.cpp 在本机用 Gemma 4 完成语音理解、图像理解和回复生成。
  • 02结合 Silero VAD 与 smart-turn-v3 实现免按键的轮流对话。
  • 03回复边生成边朗读,支持用户打断 AI。
  • 04支持带倒计时和取消按钮的计时器。
  • 05提供实时翻译和静默记录两种会话模式。
  • 06可选接入任意兼容 OpenAI 接口的模型进行后台联网研究。

适用场景

  • 在家用服务器或笔记本上搭建私有、免费的口语练习助手。
  • 边思考边口述,由助手只做屏幕转写而不语音回复。
  • 对 Gemma 支持的任意语言进行连续传译。
  • 在 Apple Silicon Mac 上试验本地多模态语音助手。

快速上手

  1. 1

    克隆代码仓库

    git clone https://github.com/fikrikarim/parlor.git
  2. 2

    进入项目目录

    cd parlor
  3. 3

    安装 llama.cpp(macOS)

    brew install llama.cpp
  4. 4

    安装依赖并启动服务器,然后打开 http://localhost:8000

    uv sync && uv run parlor

使用前须知

  • 目前为研究预览版,存在粗糙之处和漏洞。
  • 需要 Apple Silicon 的 macOS 或受支持的 Linux GPU,并且需要 llama.cpp b9503 或更新版本。
  • 默认模型需要约 6 GB 可用内存,首次运行需下载约 5.7 GB 的模型。

收录于专题

标签

常见问题

parlor 是什么?
基于 Gemma 4 与 llama.cpp 的全本地实时语音与摄像头 AI 助手,可在 Apple Silicon 或 Linux 上运行。 Parlor 是一个可自托管的实时多模态助手,通过麦克风听、通过摄像头看,并用语音回答。整个流程都在本机运行:llama.cpp 提供的 Gemma 4 E4B 负责语音识别与图像理解,Kokoro 负责语音合成,Pipecat 的 smart-turn-v3 判断用户是否说完。浏览器端通过 WebSocket 发送音频与 JPEG 画面,FastAPI 服务端负责对话循环。
parlor 可以免费使用吗?用的什么许可证?
parlor 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
parlor 还在维护吗?
半年内有更新。parlor 最近一次提交是在 2026年8月3日。
parlor 适合用来做什么?
在家用服务器或笔记本上搭建私有、免费的口语练习助手。 边思考边口述,由助手只做屏幕转写而不语音回复。 对 Gemma 支持的任意语言进行连续传译。 在 Apple Silicon Mac 上试验本地多模态语音助手。
parlor 怎么安装和运行?
克隆代码仓库: git clone https://github.com/fikrikarim/parlor.git 进入项目目录: cd parlor 安装 llama.cpp(macOS): brew install llama.cpp 安装依赖并启动服务器,然后打开 http://localhost:8000: uv sync && uv run parlor
在哪里获取 parlor?
源代码和安装说明在 GitHub 上:https://github.com/fikrikarim/parlor

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目