本地运行的 NVR,对 IP 摄像头画面进行实时目标检测,可与 Home Assistant 集成。
valentinfrlch/ha-llmvision
一个 Home Assistant 集成,利用多模态大模型分析摄像头图像、视频、实时画面和 Frigate 事件。
- Star
- 1,523
- Fork
- 155
- 未关闭 Issue
- 51
- 最近提交
- 昨天
这是什么?
LLM Vision 为 Home Assistant 增加基于 AI 的视觉分析能力。它可以把快照、视频文件、实时摄像头画面或 Frigate 事件发送给多模态大语言模型,并根据你编写的提示词回答问题或生成画面描述。
该集成支持 OpenRouter、OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure、Groq、Ollama、Open WebUI、LocalAI 以及任何兼容 OpenAI 接口的服务。分析过的事件会保存在时间线中,可通过可选的 Timeline Card 显示在仪表盘上,也可以通过 Assist 查询。传感器还能根据从摄像头流、图片或视频中提取的数据自动更新。
项目通过 HACS 分发,并附带一个摄像头通知蓝图,可用 AI 对事件进行摘要。
核心功能
- 01支持多家 AI 服务商,包括云端 API 以及 Ollama、LocalAI 等本地服务。
- 02可根据提示词回答关于图片、视频文件、实时画面和 Frigate 事件的问题。
- 03能够记住人物、宠物和物体。
- 04保存摄像头事件时间线,可用于仪表盘展示和 Assist 查询。
- 05根据从摄像头内容中提取的数据更新 Home Assistant 传感器。
适用场景
- 将摄像头移动侦测或 Frigate 检测结果由 AI 总结后推送到手机。
- 用自然语言询问摄像头当前拍到的画面内容。
- 在 Home Assistant 仪表盘上查看可检索的已分析事件历史。
- 使用 Ollama 或 LocalAI 在本地运行视觉模型,让摄像头画面保留在自己的网络中。
快速上手
- 1
从 HACS 安装 LLM Vision
- 2
重启 Home Assistant
- 3
在设置 > 设备与服务中搜索 LLM Vision,使用默认设置提交
- 4
在 LLM Vision 集成页面添加一个 AI 提供商条目
使用前须知
- 需要 API 密钥或自托管的多模态 LLM 提供商才能进行分析。
- 只能在 Home Assistant 内运行,因此需要已有的 Home Assistant 环境。
- 使用 Home Assistant Container 时,需要将文件夹挂载到 /media。
收录于专题
标签
常见问题
- ha-llmvision 是什么?
- 一个 Home Assistant 集成,利用多模态大模型分析摄像头图像、视频、实时画面和 Frigate 事件。 LLM Vision 为 Home Assistant 增加基于 AI 的视觉分析能力。它可以把快照、视频文件、实时摄像头画面或 Frigate 事件发送给多模态大语言模型,并根据你编写的提示词回答问题或生成画面描述。
- ha-llmvision 可以免费使用吗?用的什么许可证?
- ha-llmvision 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- ha-llmvision 还在维护吗?
- 活跃维护中。ha-llmvision 最近一次提交是在 2026年11月6日。
- ha-llmvision 适合用来做什么?
- 将摄像头移动侦测或 Frigate 检测结果由 AI 总结后推送到手机。 用自然语言询问摄像头当前拍到的画面内容。 在 Home Assistant 仪表盘上查看可检索的已分析事件历史。 使用 Ollama 或 LocalAI 在本地运行视觉模型,让摄像头画面保留在自己的网络中。
- ha-llmvision 怎么安装和运行?
- 从 HACS 安装 LLM Vision 重启 Home Assistant 在设置 > 设备与服务中搜索 LLM Vision,使用默认设置提交 在 LLM Vision 集成页面添加一个 AI 提供商条目
- 在哪里获取 ha-llmvision?
- 源代码和安装说明在 GitHub 上:https://github.com/valentinfrlch/ha-llmvision
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
一个 Home Assistant 自定义组件,让 OpenAI 兼容的大模型控制设备、调用服务并创建自动化。
一个 Python 后端,把多模态数据、计算列、向量索引和 HTTP 接口统一定义在一个文件中。
带有 GLaDOS 风格语音、摄像头观察、持久记忆和工具调用的本地语音助手,附带浏览器控制台。
小米官方提供的 Home Assistant 集成,可将米家智能设备接入 Home Assistant。
用于通过 miIO 和 MIoT 协议控制小米智能家居设备的 Python 库及命令行工具。