Repolode
valentinfrlch

valentinfrlch/ha-llmvision

카메라 이미지, 동영상, 실시간 피드와 Frigate 이벤트를 멀티모달 LLM으로 분석하는 Home Assistant 통합 구성요소입니다.

스타
1,523
포크
155
열린 이슈
51
마지막 커밋
18시간 전

어떤 프로젝트인가요?

LLM Vision은 Home Assistant에 AI 기반 시각 분석 기능을 더합니다. 스냅샷, 동영상 파일, 실시간 카메라 피드 또는 Frigate 이벤트를 멀티모달 대규모 언어 모델에 보내고, 작성한 프롬프트를 바탕으로 질문에 답하거나 설명을 반환합니다.

OpenRouter, OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure, Groq, Ollama, Open WebUI, LocalAI를 비롯해 OpenAI API와 호환되는 모든 엔드포인트를 지원합니다. 분석한 이벤트는 타임라인에 저장되며, 선택 사항인 Timeline Card를 통해 대시보드에 표시하거나 Assist에서 조회할 수 있습니다. 카메라 스트림, 이미지 또는 동영상에서 추출한 데이터로 센서를 업데이트하는 기능도 제공합니다.

이 프로젝트는 HACS를 통해 배포되며, AI로 이벤트를 요약하는 카메라 알림용 blueprint도 포함합니다.

핵심 기능

  • 01Ollama, LocalAI 같은 로컬 서버와 클라우드 API를 포함해 다양한 AI 제공업체를 지원합니다.
  • 02이미지, 동영상 파일, 실시간 카메라 피드와 Frigate 이벤트에 관한 프롬프트에 답합니다.
  • 03사람, 반려동물, 사물을 기억합니다.
  • 04대시보드에서 확인하거나 Assist로 조회할 수 있도록 카메라 이벤트 타임라인을 유지합니다.
  • 05카메라 콘텐츠에서 추출한 데이터로 Home Assistant 센서를 업데이트합니다.

활용 사례

  • 카메라 움직임이나 Frigate 감지 결과를 AI가 요약해 휴대전화 알림으로 받아볼 수 있습니다.
  • 카메라에 현재 무엇이 보이는지 자연어로 질문할 수 있습니다.
  • 분석한 카메라 이벤트의 검색 가능한 기록을 Home Assistant 대시보드에 표시할 수 있습니다.
  • Ollama 또는 LocalAI로 비전 모델을 로컬에서 실행해 카메라 영상을 자체 네트워크에 보관할 수 있습니다.

빠른 시작

  1. 1

    HACS에서 LLM Vision을 설치합니다

  2. 2

    Home Assistant를 다시 시작합니다

  3. 3

    설정 > 기기 및 서비스에서 LLM Vision을 검색하고 기본 설정으로 제출합니다

  4. 4

    LLM Vision 통합 페이지에서 AI 제공업체 항목을 추가합니다

사용 전 알아둘 점

  • 무엇이든 분석하려면 API 키 또는 자체 호스팅 멀티모달 LLM 제공업체가 필요합니다.
  • Home Assistant 내부에서만 실행되므로 기존 Home Assistant 구성이 필요합니다.
  • Home Assistant Container를 실행하는 경우 설정 시 미디어 폴더를 /media에 마운트해야 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

ha-llmvision은(는) 무엇인가요?
카메라 이미지, 동영상, 실시간 피드와 Frigate 이벤트를 멀티모달 LLM으로 분석하는 Home Assistant 통합 구성요소입니다. LLM Vision은 Home Assistant에 AI 기반 시각 분석 기능을 더합니다. 스냅샷, 동영상 파일, 실시간 카메라 피드 또는 Frigate 이벤트를 멀티모달 대규모 언어 모델에 보내고, 작성한 프롬프트를 바탕으로 질문에 답하거나 설명을 반환합니다.
ha-llmvision은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
ha-llmvision은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ha-llmvision은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. ha-llmvision의 마지막 커밋은 2026년 11월 6일입니다.
ha-llmvision은(는) 어디에 사용할 수 있나요?
카메라 움직임이나 Frigate 감지 결과를 AI가 요약해 휴대전화 알림으로 받아볼 수 있습니다. 카메라에 현재 무엇이 보이는지 자연어로 질문할 수 있습니다. 분석한 카메라 이벤트의 검색 가능한 기록을 Home Assistant 대시보드에 표시할 수 있습니다. Ollama 또는 LocalAI로 비전 모델을 로컬에서 실행해 카메라 영상을 자체 네트워크에 보관할 수 있습니다.
ha-llmvision는 어떻게 설치하나요?
HACS에서 LLM Vision을 설치합니다 Home Assistant를 다시 시작합니다 설정 > 기기 및 서비스에서 LLM Vision을 검색하고 기본 설정으로 제출합니다 LLM Vision 통합 페이지에서 AI 제공업체 항목을 추가합니다
ha-llmvision은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/valentinfrlch/ha-llmvision

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트