一个 Home Assistant 集成,利用多模态大模型分析摄像头图像、视频、实时画面和 Frigate 事件。
jekalmin/extended_openai_conversation
一个 Home Assistant 自定义组件,让 OpenAI 兼容的大模型控制设备、调用服务并创建自动化。
- Star
- 1,458
- Fork
- 276
- 未关闭 Issue
- 129
- 最近提交
- 27天前
这是什么?
Extended OpenAI Conversation 是一个 Home Assistant 自定义集成,用基于 OpenAI 函数调用(function calling)的对话代理替代内置的对话助手。它派生自 Home Assistant 官方的 OpenAI Conversation 集成,并增加了让模型直接操作智能家居的工具,而不只是回答问题。
模型会获知你在 Home Assistant 中暴露的实体,并可对其调用服务。除了设备控制,它还能根据自然语言需求创建自动化、查询实体的状态历史、从 REST 接口或网页抓取数据,并以只读方式对 Home Assistant 数据库执行 SQLite 查询。自定义函数以 YAML 定义,包含 spec 和函数类型,如 template、script、rest、scrape、composite 等。
可通过 Base URL 接入 Azure OpenAI、LocalAI 等兼容 OpenAI 接口的服务。可通过 HACS 安装,也可手动复制到 custom_components 目录。
核心功能
- 01通过函数调用对已暴露的实体执行 Home Assistant 服务。
- 02根据自然语言指令创建自动化。
- 03查询实体的状态历史。
- 04从 REST 接口或网页抓取数据供模型使用。
- 05支持以 YAML 定义自定义函数,包括 script 和 template 类型。
- 06可通过自定义 Base URL 接入兼容 OpenAI 接口的服务。
适用场景
- 通过语音或聊天控制 Home Assistant 中的灯光、开关和媒体播放器。
- 询问某个传感器或设备上次状态变化的时间。
- 用日常语言描述需求,让助手自动创建场景或自动化。
- 将 Home Assistant 接入 LocalAI 等自托管的兼容 OpenAI 接口模型。
快速上手
- 1
通过 HACS 添加自定义仓库安装,或将 extended_openai_conversation 文件夹复制到 custom_components 目录
- 2
重启 Home Assistant
- 3
在 设置 > 设备与服务 中添加该集成并输入 API 密钥
- 4
在 设置 > 语音助手 中选择 Extended OpenAI Conversation 作为对话代理
使用前须知
- 需要运行中的 Home Assistant 实例,因为它是自定义组件。
- 需要 OpenAI 或兼容 OpenAI 的服务器的 API 密钥。
标签
常见问题
- extended_openai_conversation 是什么?
- 一个 Home Assistant 自定义组件,让 OpenAI 兼容的大模型控制设备、调用服务并创建自动化。 Extended OpenAI Conversation 是一个 Home Assistant 自定义集成,用基于 OpenAI 函数调用(function calling)的对话代理替代内置的对话助手。它派生自 Home Assistant 官方的 OpenAI Conversation 集成,并增加了让模型直接操作智能家居的工具,而不只是回答问题。
- extended_openai_conversation 可以免费使用吗?用的什么许可证?
- extended_openai_conversation 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- extended_openai_conversation 还在维护吗?
- 活跃维护中。extended_openai_conversation 最近一次提交是在 2026年10月11日。
- extended_openai_conversation 适合用来做什么?
- 通过语音或聊天控制 Home Assistant 中的灯光、开关和媒体播放器。 询问某个传感器或设备上次状态变化的时间。 用日常语言描述需求,让助手自动创建场景或自动化。 将 Home Assistant 接入 LocalAI 等自托管的兼容 OpenAI 接口模型。
- extended_openai_conversation 怎么安装和运行?
- 通过 HACS 添加自定义仓库安装,或将 extended_openai_conversation 文件夹复制到 custom_components 目录 重启 Home Assistant 在 设置 > 设备与服务 中添加该集成并输入 API 密钥 在 设置 > 语音助手 中选择 Extended OpenAI Conversation 作为对话代理
- 在哪里获取 extended_openai_conversation?
- 源代码和安装说明在 GitHub 上:https://github.com/jekalmin/extended_openai_conversation
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 Chat Completions API 的实验性教学框架,用 Agent 与任务移交实现轻量多智能体编排。
面向 DeepSeek API 的 Java SDK,支持对话、函数调用、结构化输出,并提供 Spring Boot Starter。
Python AI 客户端库,用统一简单的接口调用多家大模型服务,支持文本、结构化数据和多轮对话。
一个 Python 库和命令行工具,让 OpenAI、Anthropic、Ollama、LMStudio 等模型通过自然语言调用 MCP 服务器上的工具。
小米官方提供的 Home Assistant 集成,可将米家智能设备接入 Home Assistant。