Repolode
Enviar
valentinfrlch

valentinfrlch/ha-llmvision

Integração do Home Assistant que usa LLMs multimodais para analisar imagens de câmeras, vídeos, transmissões ao vivo e eventos do Frigate.

Ver no GitHubSite
Estrelas
1,523
Forks
155
Issues abertas
51
Último commit
há 23 horas

O que é?

O LLM Vision adiciona análise visual com IA ao Home Assistant. Ele envia snapshots, arquivos de vídeo, transmissões ao vivo de câmeras ou eventos do Frigate para um modelo de linguagem multimodal e, em seguida, responde a perguntas ou gera descrições com base em um prompt escrito por você.

A integração funciona com diversos provedores, incluindo OpenRouter, OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure, Groq, Ollama, Open WebUI, LocalAI e qualquer endpoint compatível com a API da OpenAI. Os eventos analisados são armazenados em uma linha do tempo, que pode ser exibida em um dashboard usando o Timeline Card opcional ou consultada pelo Assist. Também é possível atualizar sensores com dados extraídos de transmissões de câmera, imagens ou vídeos.

O projeto é distribuído pelo HACS e inclui um blueprint para notificações de câmeras que resumem eventos com IA.

Recursos principais

  • 01Compatível com vários provedores de IA, incluindo APIs na nuvem e servidores locais como Ollama e LocalAI.
  • 02Responde a prompts sobre imagens, arquivos de vídeo, transmissões ao vivo de câmeras e eventos do Frigate.
  • 03Reconhece pessoas, animais de estimação e objetos.
  • 04Mantém uma linha do tempo de eventos das câmeras para dashboards e consultas pelo Assist.
  • 05Atualiza sensores do Home Assistant com dados extraídos do conteúdo das câmeras.

Casos de uso

  • Receber notificações no celular com resumos gerados por IA sobre movimentos detectados pelas câmeras ou detecções do Frigate.
  • Fazer perguntas em linguagem natural sobre o que uma câmera está vendo no momento.
  • Exibir em um dashboard do Home Assistant um histórico pesquisável dos eventos analisados pelas câmeras.
  • Executar modelos de visão localmente com Ollama ou LocalAI para manter as gravações das câmeras na sua própria rede.

Início rápido

  1. 1

    Instale o LLM Vision pelo HACS

  2. 2

    Reinicie o Home Assistant

  3. 3

    Procure por LLM Vision em Configurações > Dispositivos e serviços e envie com as configurações padrão

  4. 4

    Adicione uma entrada de provedor de IA na página da integração do LLM Vision

Antes de usar

  • Para analisar qualquer conteúdo, é necessária uma chave de API ou um provedor de LLM multimodal auto-hospedado.
  • Ele é executado apenas dentro do Home Assistant, então você precisa ter uma instalação existente do Home Assistant.
  • A configuração exige que uma pasta de mídia esteja montada em /media ao executar o Home Assistant Container.

Em coleções

Bibliotecas e ferramentas de visão computacional

Tópicos

#home-assistant#smart-home#llm#computer-vision#multimodal#camera#notifications#ai#cctv-detection#hacs-integration

Perguntas frequentes

O que é ha-llmvision?
Integração do Home Assistant que usa LLMs multimodais para analisar imagens de câmeras, vídeos, transmissões ao vivo e eventos do Frigate. O LLM Vision adiciona análise visual com IA ao Home Assistant. Ele envia snapshots, arquivos de vídeo, transmissões ao vivo de câmeras ou eventos do Frigate para um modelo de linguagem multimodal e, em seguida, responde a perguntas ou gera descrições com base em um prompt escrito por você.
ha-llmvision é gratuito? Qual é a licença?
ha-llmvision é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
ha-llmvision ainda é mantido?
Manutenção ativa. O último commit de ha-llmvision foi em 6 de nov. de 2026.
Para que posso usar ha-llmvision?
Receber notificações no celular com resumos gerados por IA sobre movimentos detectados pelas câmeras ou detecções do Frigate. Fazer perguntas em linguagem natural sobre o que uma câmera está vendo no momento. Exibir em um dashboard do Home Assistant um histórico pesquisável dos eventos analisados pelas câmeras. Executar modelos de visão localmente com Ollama ou LocalAI para manter as gravações das câmeras na sua própria rede.
Como instalar ha-llmvision?
Instale o LLM Vision pelo HACS Reinicie o Home Assistant Procure por LLM Vision em Configurações > Dispositivos e serviços e envie com as configurações padrão Adicione uma entrada de provedor de IA na página da integração do LLM Vision
Onde consigo ha-llmvision?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/valentinfrlch/ha-llmvision

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados