Repolode
fikrikarim

fikrikarim/parlor

Gemma 4とllama.cppを使った、Apple SiliconまたはLinux上でローカル動作する完全オンデバイスのリアルタイム音声・カメラAIアシスタント。

代替できる製品:ChatGPT Advanced Voice

スター
2,112
フォーク
281
未解決の Issue
1
最終コミット
3 か月前

これは何?

Parlorは、マイクから音声を聞き取り、カメラから映像を捉えて、音声で応答するセルフホスト型のリアルタイムマルチモーダルアシスタントです。処理はすべてユーザーのマシン上で実行されます。llama.cppで動かすGemma 4 E4Bが音声と視覚を処理し、Kokoroが音声合成を担当します。また、Pipecatのsmart-turn-v3がユーザーの発話終了を判定します。ブラウザのフロントエンドはWebSocket経由で音声とJPEGフレームを送信し、FastAPIサーバーが会話の処理を実行します。

このプロジェクトは、低遅延で自然な会話を重視しています。生成中の返答は、まず文字起こしとして表示され、続けて文ごとに音声で読み上げられます。アシスタントの発話中にユーザーが話し始めると、応答は中断されます。タイマーや、リアルタイム翻訳・無言でのメモ取りなどのモード切り替え、さらにWeb上の質問をOpenAI互換モデルに委任する任意のバックグラウンド調査は、別のアクションリクエストで処理します。APIキーを設定しない限り、調査機能は無効です。

作者は本プロジェクトを、GPT-Live系の音声アシスタントに代わるローカル動作の選択肢として開発した研究プレビューと説明しており、コードの開発にはAIの支援を大幅に活用したと述べています。

主な機能

  • 01llama.cpp経由のGemma 4を使い、音声認識・視覚処理・応答生成をデバイス上で実行します。
  • 02Silero VADとsmart-turn-v3による発話終了判定で、ハンズフリーの会話を実現します。
  • 03文字起こしと音声での応答を文ごとにストリーミングし、発話による割り込みにも対応します。
  • 04カウントダウンとキャンセル操作に対応したタイマーを利用できます。
  • 05リアルタイム翻訳モードと、聞き取り専用モードを利用できます。
  • 06任意で、OpenAI互換エンドポイントを通じたバックグラウンド調査を利用できます。

ユースケース

  • 自宅サーバーやノートPC上で、プライベートかつ無料の音声チューターと英会話を練習する。
  • 考えを声に出しながら、アシスタントには返答させずにメモを文字起こしする。
  • Gemmaが理解できる言語での会話を逐次通訳する。
  • Apple Silicon搭載Macで、ローカル動作するマルチモーダルアシスタントを試す。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/fikrikarim/parlor.git
  2. 2

    プロジェクトディレクトリに移動する

    cd parlor
  3. 3

    llama.cppをインストールする(macOS)

    brew install llama.cpp
  4. 4

    依存関係をインストールしてサーバーを起動し、http://localhost:8000 を開く

    uv sync && uv run parlor

使う前に知っておきたいこと

  • 研究プレビュー版のため、未完成な部分やバグがあります。
  • Apple Silicon搭載のmacOS、または対応するLinux GPUが必要です。また、llama.cppのビルド b9503 以降が必要です。
  • デフォルトモデルには約6 GBの空きRAMが必要で、初回起動時に約5.7 GBのモデルをダウンロードします。

収録されている特集

トピック

よくある質問

parlor とは?
Gemma 4とllama.cppを使った、Apple SiliconまたはLinux上でローカル動作する完全オンデバイスのリアルタイム音声・カメラAIアシスタント。 Parlorは、マイクから音声を聞き取り、カメラから映像を捉えて、音声で応答するセルフホスト型のリアルタイムマルチモーダルアシスタントです。処理はすべてユーザーのマシン上で実行されます。llama.cppで動かすGemma 4 E4Bが音声と視覚を処理し、Kokoroが音声合成を担当します。また、Pipecatのsmart-turn-v3がユーザーの発話終了を判定します。ブラウザのフロントエンドはWebSocket経由で音声とJPEGフレームを送信し、FastAPIサーバーが会話の処理を実行します。
parlor は無料で使えますか?ライセンスは?
parlor は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
parlor は今もメンテナンスされていますか?
半年以内に更新あり。parlor の最終コミットは 2026年8月3日 です。
parlor は何に使えますか?
自宅サーバーやノートPC上で、プライベートかつ無料の音声チューターと英会話を練習する。 考えを声に出しながら、アシスタントには返答させずにメモを文字起こしする。 Gemmaが理解できる言語での会話を逐次通訳する。 Apple Silicon搭載Macで、ローカル動作するマルチモーダルアシスタントを試す。
parlor のインストール方法は?
リポジトリをクローンする: git clone https://github.com/fikrikarim/parlor.git プロジェクトディレクトリに移動する: cd parlor llama.cppをインストールする(macOS): brew install llama.cpp 依存関係をインストールしてサーバーを起動し、http://localhost:8000 を開く: uv sync && uv run parlor
parlor はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/fikrikarim/parlor

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト