Интеграция для Home Assistant, которая использует мультимодальные LLM для анализа изображений с камер, видео, прямых трансляций и событий Frigate.
jekalmin/extended_openai_conversation
Кастомный компонент Home Assistant, который позволяет LLM с совместимым с OpenAI API управлять устройствами, вызывать сервисы и создавать автоматизации.
- Звёзды
- 1,458
- Форки
- 276
- Открытые issues
- 129
- Последний коммит
- 26 дней назад
Что это?
Extended OpenAI Conversation — кастомная интеграция для Home Assistant, заменяющая встроенного агента диалогов на агента, использующего вызов функций OpenAI. Она создана на основе собственной интеграции OpenAI Conversation для Home Assistant и добавляет инструменты, благодаря которым модель может управлять умным домом, а не только отвечать на вопросы.
Модель получает список сущностей, доступ к которым вы открыли в Home Assistant, и может вызывать для них сервисы. Помимо управления устройствами, она умеет создавать автоматизации по запросам на естественном языке, запрашивать историю состояний сущностей, получать данные из REST-эндпоинтов или со скрейпленных веб-страниц, а также выполнять запросы SQLite к базе данных Home Assistant в режиме только для чтения. Пользовательские функции задаются в YAML: указываются спецификация и тип функции, например template, script, rest, scrape или composite.
Настройка Base URL позволяет подключаться к серверам, совместимым с OpenAI, например Azure OpenAI или LocalAI. Интеграцию можно установить через HACS или скопировать папку в каталог custom_components.
Ключевые возможности
- 01Вызывает сервисы Home Assistant для открытых сущностей с помощью вызова функций.
- 02Создаёт автоматизации по инструкциям на естественном языке.
- 03Запрашивает историю состояний сущностей.
- 04Получает данные из REST API или со скрейпленных веб-страниц, чтобы передать их модели.
- 05Поддерживает пользовательские функции, заданные в YAML, в том числе типа script и template.
- 06Работает с совместимыми с OpenAI эндпоинтами через настраиваемый Base URL.
Сценарии использования
- Управление освещением, переключателями и медиаплеерами голосом или в чате Home Assistant.
- Узнать, когда датчик или устройство в последний раз меняло состояние.
- Поручить ассистенту создавать сценарии по описанию на обычном языке.
- Подключить Home Assistant к самостоятельно размещённой модели, совместимой с OpenAI, например LocalAI.
Быстрый старт
- 1
Установите через HACS как пользовательский репозиторий или скопируйте папку extended_openai_conversation в custom_components
- 2
Перезапустите Home Assistant
- 3
В разделе «Настройки» > «Устройства и службы» добавьте интеграцию и введите API-ключ
- 4
В разделе «Настройки» > «Голосовые ассистенты» выберите Extended OpenAI Conversation в качестве агента диалога
Что важно знать
- Поскольку это пользовательский компонент, требуется работающий экземпляр Home Assistant.
- Требуется API-ключ OpenAI или совместимого с OpenAI сервера.
Темы
Частые вопросы
- Что такое extended_openai_conversation?
- Кастомный компонент Home Assistant, который позволяет LLM с совместимым с OpenAI API управлять устройствами, вызывать сервисы и создавать автоматизации. Extended OpenAI Conversation — кастомная интеграция для Home Assistant, заменяющая встроенного агента диалогов на агента, использующего вызов функций OpenAI. Она создана на основе собственной интеграции OpenAI Conversation для Home Assistant и добавляет инструменты, благодаря которым модель может управлять умным домом, а не только отвечать на вопросы.
- extended_openai_conversation можно использовать бесплатно? Какая у него лицензия?
- extended_openai_conversation распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- extended_openai_conversation всё ещё поддерживается?
- Активно поддерживается. Последний коммит в extended_openai_conversation — 11 окт. 2026 г..
- Для чего можно использовать extended_openai_conversation?
- Управление освещением, переключателями и медиаплеерами голосом или в чате Home Assistant. Узнать, когда датчик или устройство в последний раз меняло состояние. Поручить ассистенту создавать сценарии по описанию на обычном языке. Подключить Home Assistant к самостоятельно размещённой модели, совместимой с OpenAI, например LocalAI.
- Как установить extended_openai_conversation?
- Установите через HACS как пользовательский репозиторий или скопируйте папку extended_openai_conversation в custom_components Перезапустите Home Assistant В разделе «Настройки» > «Устройства и службы» добавьте интеграцию и введите API-ключ В разделе «Настройки» > «Голосовые ассистенты» выберите Extended OpenAI Conversation в качестве агента диалога
- Где скачать extended_openai_conversation?
- Исходный код и инструкции по установке — на GitHub: https://github.com/jekalmin/extended_openai_conversation
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Экспериментальный образовательный Python-фреймворк для лёгкой оркестрации нескольких агентов на основе Agents и handoffs через Chat Completions API.
Клиентская библиотека Python, которая предоставляет единый простой интерфейс к API разных AI-провайдеров для работы с текстом, структурированными данными и диалогами.
Библиотека Python и CLI, с помощью которых разные LLM (OpenAI, Anthropic, Ollama, LMStudio) вызывают инструменты на одном или нескольких MCP-серверах на естественном языке.
Официальная интеграция Xiaomi для управления IoT-устройствами Xiaomi в Home Assistant через Xiaomi Cloud или локальный шлюз центрального хаба Xiaomi.
Библиотека Python и CLI-инструмент miiocli для управления устройствами умного дома Xiaomi по протоколам miIO и MIoT.