マルチモーダルLLMでカメラ画像、動画、ライブ映像、Frigateイベントを分析するHome Assistant統合。
jekalmin/extended_openai_conversation
OpenAI互換LLMでデバイスの操作やサービス呼び出し、自動化の作成ができるHome Assistant用カスタムコンポーネント。
- スター
- 1,458
- フォーク
- 276
- 未解決の Issue
- 129
- 最終コミット
- 27 日前
これは何?
Extended OpenAI Conversationは、Home Assistant標準の会話エージェントを、OpenAIのFunction Callingを利用するエージェントに置き換えるカスタム統合です。Home Assistant標準のOpenAI Conversation統合をベースに、質問に答えるだけでなく、モデルがスマートホームを操作できるツールを追加しています。
モデルには、Home Assistantで公開しているエンティティが通知され、それらに対してサービスを呼び出せます。デバイス操作に加えて、自然言語のリクエストから自動化を作成したり、エンティティの状態履歴を照会したり、RESTエンドポイントやスクレイピングしたWebページからデータを取得したり、Home Assistantのデータベースに対して読み取り専用でSQLiteクエリを実行したりできます。カスタム関数は、specとtemplate、script、rest、scrape、compositeなどの関数タイプをYAMLで定義します。
Base URLを設定すれば、Azure OpenAIやLocalAIなどのOpenAI互換サーバーを利用できます。HACS経由でインストールするか、フォルダをcustom_componentsディレクトリにコピーして導入できます。
主な機能
- 01Function Callingを使い、公開済みエンティティに対してHome Assistantのサービスを呼び出します。
- 02自然言語の指示から自動化を作成します。
- 03エンティティの状態履歴を照会します。
- 04モデルが利用するデータをREST APIやスクレイピングしたWebページから取得します。
- 05scriptやtemplateタイプを含む、YAMLで定義したカスタム関数に対応します。
- 06Base URLを設定してOpenAI互換エンドポイントを利用できます。
ユースケース
- Home Assistantで音声やチャットを通じて、照明、スイッチ、メディアプレーヤーを操作する。
- センサーやデバイスの状態が最後に変化した時刻を尋ねる。
- 自然言語で説明するだけで、アシスタントにルーティンを作成させる。
- Home AssistantをLocalAIなどのセルフホスト型OpenAI互換モデルに接続する。
クイックスタート
- 1
HACSのカスタムリポジトリとしてインストールするか、extended_openai_conversationフォルダーをcustom_componentsにコピーします
- 2
Home Assistantを再起動します
- 3
「設定」>「デバイスとサービス」でインテグレーションを追加し、APIキーを入力します
- 4
「設定」>「音声アシスタント」で、会話エージェントとしてExtended OpenAI Conversationを選択します
使う前に知っておきたいこと
- カスタムコンポーネントのため、Home Assistantの稼働中のインスタンスが必要です。
- OpenAIまたはOpenAI互換サーバーのAPIキーが必要です。
トピック
よくある質問
- extended_openai_conversation とは?
- OpenAI互換LLMでデバイスの操作やサービス呼び出し、自動化の作成ができるHome Assistant用カスタムコンポーネント。 Extended OpenAI Conversationは、Home Assistant標準の会話エージェントを、OpenAIのFunction Callingを利用するエージェントに置き換えるカスタム統合です。Home Assistant標準のOpenAI Conversation統合をベースに、質問に答えるだけでなく、モデルがスマートホームを操作できるツールを追加しています。
- extended_openai_conversation は無料で使えますか?ライセンスは?
- extended_openai_conversation は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- extended_openai_conversation は今もメンテナンスされていますか?
- 活発にメンテナンス中。extended_openai_conversation の最終コミットは 2026年10月11日 です。
- extended_openai_conversation は何に使えますか?
- Home Assistantで音声やチャットを通じて、照明、スイッチ、メディアプレーヤーを操作する。 センサーやデバイスの状態が最後に変化した時刻を尋ねる。 自然言語で説明するだけで、アシスタントにルーティンを作成させる。 Home AssistantをLocalAIなどのセルフホスト型OpenAI互換モデルに接続する。
- extended_openai_conversation のインストール方法は?
- HACSのカスタムリポジトリとしてインストールするか、extended_openai_conversationフォルダーをcustom_componentsにコピーします Home Assistantを再起動します 「設定」>「デバイスとサービス」でインテグレーションを追加し、APIキーを入力します 「設定」>「音声アシスタント」で、会話エージェントとしてExtended OpenAI Conversationを選択します
- extended_openai_conversation はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/jekalmin/extended_openai_conversation
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
AgentsとChat Completions API上のハンドオフを使って軽量なマルチエージェント連携を実現する、実験・学習向けのPythonフレームワーク。
テキスト生成、構造化データ、会話に対応する、複数のAIプロバイダーAPIを統一されたシンプルなインターフェースで利用できるPythonクライアントライブラリ。
OpenAI、Anthropic、Ollama、LMStudioなどのLLMから、自然言語で1つ以上のMCPサーバーのツールを呼び出せるPythonライブラリとCLI。
Xiaomi Cloudまたはローカルの中央ハブゲートウェイ経由で、Xiaomi IoTスマートデバイスをHome Assistantに取り込む公式連携。
miIO/MIoTプロトコルでXiaomiのスマートホーム機器を操作するPythonライブラリとmiiocliコマンドラインツール。