Repolode
valentinfrlch

valentinfrlch/ha-llmvision

一个 Home Assistant 集成,利用多模态大模型分析摄像头图像、视频、实时画面和 Frigate 事件。

Star
1,523
Fork
155
未关闭 Issue
51
最近提交
昨天

这是什么?

LLM Vision 为 Home Assistant 增加基于 AI 的视觉分析能力。它可以把快照、视频文件、实时摄像头画面或 Frigate 事件发送给多模态大语言模型,并根据你编写的提示词回答问题或生成画面描述。

该集成支持 OpenRouter、OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure、Groq、Ollama、Open WebUI、LocalAI 以及任何兼容 OpenAI 接口的服务。分析过的事件会保存在时间线中,可通过可选的 Timeline Card 显示在仪表盘上,也可以通过 Assist 查询。传感器还能根据从摄像头流、图片或视频中提取的数据自动更新。

项目通过 HACS 分发,并附带一个摄像头通知蓝图,可用 AI 对事件进行摘要。

核心功能

  • 01支持多家 AI 服务商,包括云端 API 以及 Ollama、LocalAI 等本地服务。
  • 02可根据提示词回答关于图片、视频文件、实时画面和 Frigate 事件的问题。
  • 03能够记住人物、宠物和物体。
  • 04保存摄像头事件时间线,可用于仪表盘展示和 Assist 查询。
  • 05根据从摄像头内容中提取的数据更新 Home Assistant 传感器。

适用场景

  • 将摄像头移动侦测或 Frigate 检测结果由 AI 总结后推送到手机。
  • 用自然语言询问摄像头当前拍到的画面内容。
  • 在 Home Assistant 仪表盘上查看可检索的已分析事件历史。
  • 使用 Ollama 或 LocalAI 在本地运行视觉模型,让摄像头画面保留在自己的网络中。

快速上手

  1. 1

    从 HACS 安装 LLM Vision

  2. 2

    重启 Home Assistant

  3. 3

    在设置 > 设备与服务中搜索 LLM Vision,使用默认设置提交

  4. 4

    在 LLM Vision 集成页面添加一个 AI 提供商条目

使用前须知

  • 需要 API 密钥或自托管的多模态 LLM 提供商才能进行分析。
  • 只能在 Home Assistant 内运行,因此需要已有的 Home Assistant 环境。
  • 使用 Home Assistant Container 时,需要将文件夹挂载到 /media。

收录于专题

标签

常见问题

ha-llmvision 是什么?
一个 Home Assistant 集成,利用多模态大模型分析摄像头图像、视频、实时画面和 Frigate 事件。 LLM Vision 为 Home Assistant 增加基于 AI 的视觉分析能力。它可以把快照、视频文件、实时摄像头画面或 Frigate 事件发送给多模态大语言模型,并根据你编写的提示词回答问题或生成画面描述。
ha-llmvision 可以免费使用吗?用的什么许可证?
ha-llmvision 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
ha-llmvision 还在维护吗?
活跃维护中。ha-llmvision 最近一次提交是在 2026年11月6日。
ha-llmvision 适合用来做什么?
将摄像头移动侦测或 Frigate 检测结果由 AI 总结后推送到手机。 用自然语言询问摄像头当前拍到的画面内容。 在 Home Assistant 仪表盘上查看可检索的已分析事件历史。 使用 Ollama 或 LocalAI 在本地运行视觉模型,让摄像头画面保留在自己的网络中。
ha-llmvision 怎么安装和运行?
从 HACS 安装 LLM Vision 重启 Home Assistant 在设置 > 设备与服务中搜索 LLM Vision,使用默认设置提交 在 LLM Vision 集成页面添加一个 AI 提供商条目
在哪里获取 ha-llmvision?
源代码和安装说明在 GitHub 上:https://github.com/valentinfrlch/ha-llmvision

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目