Home Assistant 연동에 초점을 맞춘 셀프 호스팅 NVR로, 로컬 IP 카메라 영상에서 실시간 객체 감지를 수행합니다.
valentinfrlch/ha-llmvision
카메라 이미지, 동영상, 실시간 피드와 Frigate 이벤트를 멀티모달 LLM으로 분석하는 Home Assistant 통합 구성요소입니다.
- 스타
- 1,523
- 포크
- 155
- 열린 이슈
- 51
- 마지막 커밋
- 18시간 전
어떤 프로젝트인가요?
LLM Vision은 Home Assistant에 AI 기반 시각 분석 기능을 더합니다. 스냅샷, 동영상 파일, 실시간 카메라 피드 또는 Frigate 이벤트를 멀티모달 대규모 언어 모델에 보내고, 작성한 프롬프트를 바탕으로 질문에 답하거나 설명을 반환합니다.
OpenRouter, OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure, Groq, Ollama, Open WebUI, LocalAI를 비롯해 OpenAI API와 호환되는 모든 엔드포인트를 지원합니다. 분석한 이벤트는 타임라인에 저장되며, 선택 사항인 Timeline Card를 통해 대시보드에 표시하거나 Assist에서 조회할 수 있습니다. 카메라 스트림, 이미지 또는 동영상에서 추출한 데이터로 센서를 업데이트하는 기능도 제공합니다.
이 프로젝트는 HACS를 통해 배포되며, AI로 이벤트를 요약하는 카메라 알림용 blueprint도 포함합니다.
핵심 기능
- 01Ollama, LocalAI 같은 로컬 서버와 클라우드 API를 포함해 다양한 AI 제공업체를 지원합니다.
- 02이미지, 동영상 파일, 실시간 카메라 피드와 Frigate 이벤트에 관한 프롬프트에 답합니다.
- 03사람, 반려동물, 사물을 기억합니다.
- 04대시보드에서 확인하거나 Assist로 조회할 수 있도록 카메라 이벤트 타임라인을 유지합니다.
- 05카메라 콘텐츠에서 추출한 데이터로 Home Assistant 센서를 업데이트합니다.
활용 사례
- 카메라 움직임이나 Frigate 감지 결과를 AI가 요약해 휴대전화 알림으로 받아볼 수 있습니다.
- 카메라에 현재 무엇이 보이는지 자연어로 질문할 수 있습니다.
- 분석한 카메라 이벤트의 검색 가능한 기록을 Home Assistant 대시보드에 표시할 수 있습니다.
- Ollama 또는 LocalAI로 비전 모델을 로컬에서 실행해 카메라 영상을 자체 네트워크에 보관할 수 있습니다.
빠른 시작
- 1
HACS에서 LLM Vision을 설치합니다
- 2
Home Assistant를 다시 시작합니다
- 3
설정 > 기기 및 서비스에서 LLM Vision을 검색하고 기본 설정으로 제출합니다
- 4
LLM Vision 통합 페이지에서 AI 제공업체 항목을 추가합니다
사용 전 알아둘 점
- 무엇이든 분석하려면 API 키 또는 자체 호스팅 멀티모달 LLM 제공업체가 필요합니다.
- Home Assistant 내부에서만 실행되므로 기존 Home Assistant 구성이 필요합니다.
- Home Assistant Container를 실행하는 경우 설정 시 미디어 폴더를 /media에 마운트해야 합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- ha-llmvision은(는) 무엇인가요?
- 카메라 이미지, 동영상, 실시간 피드와 Frigate 이벤트를 멀티모달 LLM으로 분석하는 Home Assistant 통합 구성요소입니다. LLM Vision은 Home Assistant에 AI 기반 시각 분석 기능을 더합니다. 스냅샷, 동영상 파일, 실시간 카메라 피드 또는 Frigate 이벤트를 멀티모달 대규모 언어 모델에 보내고, 작성한 프롬프트를 바탕으로 질문에 답하거나 설명을 반환합니다.
- ha-llmvision은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- ha-llmvision은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- ha-llmvision은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. ha-llmvision의 마지막 커밋은 2026년 11월 6일입니다.
- ha-llmvision은(는) 어디에 사용할 수 있나요?
- 카메라 움직임이나 Frigate 감지 결과를 AI가 요약해 휴대전화 알림으로 받아볼 수 있습니다. 카메라에 현재 무엇이 보이는지 자연어로 질문할 수 있습니다. 분석한 카메라 이벤트의 검색 가능한 기록을 Home Assistant 대시보드에 표시할 수 있습니다. Ollama 또는 LocalAI로 비전 모델을 로컬에서 실행해 카메라 영상을 자체 네트워크에 보관할 수 있습니다.
- ha-llmvision는 어떻게 설치하나요?
- HACS에서 LLM Vision을 설치합니다 Home Assistant를 다시 시작합니다 설정 > 기기 및 서비스에서 LLM Vision을 검색하고 기본 설정으로 제출합니다 LLM Vision 통합 페이지에서 AI 제공업체 항목을 추가합니다
- ha-llmvision은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/valentinfrlch/ha-llmvision
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
OpenAI 호환 LLM이 기기를 제어하고 서비스를 호출하며 자동화를 만들 수 있도록 하는 Home Assistant 커스텀 컴포넌트입니다.
멀티모달 데이터, 계산 열, 벡터 인덱스, HTTP 라우트를 한 파일에서 선언하는 Python 백엔드입니다.
GLaDOS 스타일의 커스텀 음성, 카메라 비전, 지속 메모리, 도구, 브라우저 콘솔을 갖춘 로컬 음성 비서입니다.
Xiaomi Cloud 또는 로컬 중앙 허브 게이트웨이를 통해 Xiaomi IoT 스마트 기기를 Home Assistant에 연동하는 Xiaomi 공식 통합 기능입니다.
miIO 및 MIoT 프로토콜을 통해 Xiaomi 스마트홈 기기를 제어하는 Python 라이브러리와 miiocli 명령줄 도구입니다.