NVR autohospedado que detecta objetos en tiempo real en transmisiones locales de cámaras IP, diseñado para integrarse con Home Assistant.
37,3 mil+212 esta semana3,8 milPythonMITActualizado hace 7 horas
valentinfrlch/ha-llmvision
Integración de Home Assistant que usa LLM multimodales para analizar imágenes de cámaras, videos, transmisiones en vivo y eventos de Frigate.
- Estrellas
- 1,523
- Forks
- 155
- Issues abiertos
- 51
- Último commit
- hace 13 horas
¿Qué es?
LLM Vision incorpora análisis visual basado en IA a Home Assistant. Envía capturas, archivos de video, transmisiones en vivo de cámaras o eventos de Frigate a un modelo de lenguaje multimodal y, a partir de una instrucción que escribes, responde preguntas o genera descripciones.
La integración es compatible con distintos proveedores, como OpenRouter, OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure, Groq, Ollama, Open WebUI, LocalAI y cualquier endpoint compatible con la API de OpenAI. Los eventos analizados se guardan en una cronología que se puede mostrar en un panel mediante una Timeline Card opcional o consultar desde Assist. También permite actualizar sensores con datos extraídos de transmisiones de cámara, imágenes o videos.
El proyecto se distribuye a través de HACS e incluye un blueprint para enviar notificaciones de cámara que resumen eventos con IA.
Funciones clave
- 01Compatible con numerosos proveedores de IA, incluidas API en la nube y servidores locales como Ollama y LocalAI.
- 02Responde a instrucciones sobre imágenes, archivos de video, transmisiones en vivo de cámaras y eventos de Frigate.
- 03Recuerda personas, mascotas y objetos.
- 04Mantiene una cronología de eventos de cámara para consultarla desde paneles y Assist.
- 05Actualiza sensores de Home Assistant con datos extraídos del contenido de las cámaras.
Casos de uso
- Recibir en el teléfono notificaciones con resúmenes generados por IA sobre movimiento detectado por cámaras o detecciones de Frigate.
- Hacer preguntas en lenguaje natural sobre lo que ve una cámara en ese momento.
- Mostrar en un panel de Home Assistant un historial consultable de los eventos de cámara analizados.
- Ejecutar modelos de visión localmente con Ollama o LocalAI para mantener las grabaciones de las cámaras dentro de tu propia red.
Inicio rápido
- 1
Instala LLM Vision desde HACS
- 2
Reinicia Home Assistant
- 3
Busca LLM Vision en Ajustes > Dispositivos y servicios y envíalo con la configuración predeterminada
- 4
Añade una entrada de proveedor de IA desde la página de la integración de LLM Vision
Antes de usarlo
- Para analizar cualquier contenido, necesitas una clave de API o un proveedor de LLM multimodal autoalojado.
- Solo se ejecuta dentro de Home Assistant, por lo que necesitas una instalación existente de Home Assistant.
- La configuración requiere montar una carpeta de medios en /media si ejecutas Home Assistant Container.
En colecciones
Temas
#home-assistant#smart-home#llm#computer-vision#multimodal#camera#notifications#ai#cctv-detection#hacs-integration
Preguntas frecuentes
- ¿Qué es ha-llmvision?
- Integración de Home Assistant que usa LLM multimodales para analizar imágenes de cámaras, videos, transmisiones en vivo y eventos de Frigate. LLM Vision incorpora análisis visual basado en IA a Home Assistant. Envía capturas, archivos de video, transmisiones en vivo de cámaras o eventos de Frigate a un modelo de lenguaje multimodal y, a partir de una instrucción que escribes, responde preguntas o genera descripciones.
- ¿ha-llmvision es gratuito? ¿Qué licencia tiene?
- ha-llmvision es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ha-llmvision sigue mantenido?
- Mantenimiento activo. El último commit de ha-llmvision fue el 6 nov 2026.
- ¿Para qué puedo usar ha-llmvision?
- Recibir en el teléfono notificaciones con resúmenes generados por IA sobre movimiento detectado por cámaras o detecciones de Frigate. Hacer preguntas en lenguaje natural sobre lo que ve una cámara en ese momento. Mostrar en un panel de Home Assistant un historial consultable de los eventos de cámara analizados. Ejecutar modelos de visión localmente con Ollama o LocalAI para mantener las grabaciones de las cámaras dentro de tu propia red.
- ¿Cómo se instala ha-llmvision?
- Instala LLM Vision desde HACS Reinicia Home Assistant Busca LLM Vision en Ajustes > Dispositivos y servicios y envíalo con la configuración predeterminada Añade una entrada de proveedor de IA desde la página de la integración de LLM Vision
- ¿Dónde consigo ha-llmvision?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/valentinfrlch/ha-llmvision
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Componente personalizado de Home Assistant que permite a un LLM compatible con OpenAI controlar dispositivos, ejecutar servicios y crear automatizaciones.
1,5 mil+2 esta semana276PythonMITActualizado hace 26 días
Un backend de Python que permite declarar datos multimodales, columnas calculadas, índices vectoriales y rutas HTTP en un solo archivo.
1,7 mil+8 esta semana235PythonApache-2.0Actualizado hace 3 horas
Asistente de voz local con una voz personalizada al estilo de GLaDOS, visión mediante cámara, memoria persistente, herramientas y una consola web.
5,8 mil+6 esta semana446PythonMITActualizado hace 27 días
Integración oficial de Xiaomi que incorpora dispositivos inteligentes Xiaomi IoT a Home Assistant mediante Xiaomi Cloud o una pasarela central local.
22,3 mil+33 esta semana1,2 milPythonOtherActualizado el mes pasado
Biblioteca Python y herramienta de línea de comandos miiocli para controlar dispositivos Xiaomi de hogar inteligente mediante los protocolos miIO y MIoT.
4,3 mil600PythonGPL-3.0Actualizado hace 3 meses