Repolode
valentinfrlch

valentinfrlch/ha-llmvision

Интеграция для Home Assistant, которая использует мультимодальные LLM для анализа изображений с камер, видео, прямых трансляций и событий Frigate.

Звёзды
1,526
Форки
155
Открытые issues
51
Последний коммит
позавчера

Что это?

LLM Vision добавляет в Home Assistant анализ изображений с помощью ИИ. Интеграция отправляет снимки, видеофайлы, трансляции с камер или события Frigate мультимодальной большой языковой модели, которая отвечает на ваши вопросы или описывает материалы на основе заданного вами промпта.

Интеграция поддерживает множество провайдеров, включая OpenRouter, OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure, Groq, Ollama, Open WebUI, LocalAI, а также любые конечные точки, совместимые с OpenAI API. Проанализированные события сохраняются в хронологии, которую можно вывести на дашборд с помощью опциональной Timeline Card или просматривать через Assist. Кроме того, интеграция может обновлять сенсоры на основе данных, извлечённых из трансляций с камер, изображений или видео.

Проект распространяется через HACS и включает blueprint для уведомлений с камер, в которых ИИ кратко описывает события.

Ключевые возможности

  • 01Поддерживает множество провайдеров ИИ, в том числе облачные API и локальные серверы, например Ollama и LocalAI.
  • 02Отвечает на вопросы по изображениям, видеофайлам, трансляциям с камер и событиям Frigate.
  • 03Запоминает людей, домашних животных и объекты.
  • 04Ведёт хронологию событий с камер для дашбордов и запросов через Assist.
  • 05Обновляет сенсоры Home Assistant на основе данных, извлечённых из материалов с камер.

Сценарии использования

  • Получать написанные ИИ сводки о движении в кадре или обнаружениях Frigate в виде уведомлений на телефоне.
  • Задавать вопросы на естественном языке о том, что камера видит прямо сейчас.
  • Показывать на дашборде Home Assistant историю проанализированных событий с камер с возможностью поиска.
  • Запускать модели компьютерного зрения локально через Ollama или LocalAI, не передавая записи с камер за пределы своей сети.

Быстрый старт

  1. 1

    Установите LLM Vision из HACS

  2. 2

    Перезапустите Home Assistant

  3. 3

    Найдите LLM Vision в разделе «Настройки» > «Устройства и службы» и отправьте данные с настройками по умолчанию

  4. 4

    Добавьте запись поставщика ИИ на странице интеграции LLM Vision

Что важно знать

  • Для анализа чего-либо потребуется API-ключ или собственный мультимодальный LLM-провайдер.
  • Работает только внутри Home Assistant, поэтому нужна уже настроенная система Home Assistant.
  • При запуске Home Assistant Container для настройки необходимо смонтировать папку с медиафайлами в /media.

В подборках

Темы

Частые вопросы

Что такое ha-llmvision?
Интеграция для Home Assistant, которая использует мультимодальные LLM для анализа изображений с камер, видео, прямых трансляций и событий Frigate. LLM Vision добавляет в Home Assistant анализ изображений с помощью ИИ. Интеграция отправляет снимки, видеофайлы, трансляции с камер или события Frigate мультимодальной большой языковой модели, которая отвечает на ваши вопросы или описывает материалы на основе заданного вами промпта.
ha-llmvision можно использовать бесплатно? Какая у него лицензия?
ha-llmvision распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ha-llmvision всё ещё поддерживается?
Активно поддерживается. Последний коммит в ha-llmvision — 6 нояб. 2026 г..
Для чего можно использовать ha-llmvision?
Получать написанные ИИ сводки о движении в кадре или обнаружениях Frigate в виде уведомлений на телефоне. Задавать вопросы на естественном языке о том, что камера видит прямо сейчас. Показывать на дашборде Home Assistant историю проанализированных событий с камер с возможностью поиска. Запускать модели компьютерного зрения локально через Ollama или LocalAI, не передавая записи с камер за пределы своей сети.
Как установить ha-llmvision?
Установите LLM Vision из HACS Перезапустите Home Assistant Найдите LLM Vision в разделе «Настройки» > «Устройства и службы» и отправьте данные с настройками по умолчанию Добавьте запись поставщика ИИ на странице интеграции LLM Vision
Где скачать ha-llmvision?
Исходный код и инструкции по установке — на GitHub: https://github.com/valentinfrlch/ha-llmvision

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Официальная интеграция Xiaomi для управления IoT-устройствами Xiaomi в Home Assistant через Xiaomi Cloud или локальный шлюз центрального хаба Xiaomi.

22,3 тыс.+28 за неделю1,2 тыс.PythonOtherОбновлён в прошлом месяце