Integração do Home Assistant que usa LLMs multimodais para analisar imagens de câmeras, vídeos, transmissões ao vivo e eventos do Frigate.
jekalmin/extended_openai_conversation
Um componente personalizado para Home Assistant que permite a um LLM compatível com OpenAI controlar dispositivos, chamar serviços e criar automações.
- Estrelas
- 1,458
- Forks
- 275
- Issues abertas
- 129
- Último commit
- há 26 dias
O que é?
Extended OpenAI Conversation é uma integração personalizada para Home Assistant que substitui o agente de conversa integrado por outro baseado no function calling da OpenAI. Ela deriva da própria integração OpenAI Conversation do Home Assistant e adiciona ferramentas para o modelo interagir com sua casa inteligente, em vez de apenas responder a perguntas.
O modelo recebe informações sobre as entidades que você expôs no Home Assistant e pode chamar serviços relacionados a elas. Além de controlar dispositivos, ele pode criar automações a partir de pedidos em linguagem natural, consultar o histórico de estados das entidades, buscar dados em endpoints REST ou em páginas da web extraídas e executar consultas SQLite no banco de dados do Home Assistant em modo somente leitura. As funções personalizadas são definidas em YAML como uma especificação e um tipo de função, como template, script, rest, scrape ou composite.
A configuração Base URL permite usar servidores compatíveis com OpenAI, como Azure OpenAI ou LocalAI. A integração pode ser instalada pelo HACS ou copiando a pasta para o diretório custom_components.
Recursos principais
- 01Chama serviços do Home Assistant em entidades expostas por meio de function calling.
- 02Cria automações a partir de instruções em linguagem natural.
- 03Consulta o histórico de estados das entidades.
- 04Busca dados em APIs REST ou em páginas da web extraídas para o modelo usar.
- 05Oferece suporte a funções personalizadas definidas em YAML, incluindo os tipos script e template.
- 06Funciona com endpoints compatíveis com OpenAI por meio de uma Base URL configurável.
Casos de uso
- Controlar luzes, interruptores e media players por voz ou chat no Home Assistant.
- Perguntar quando o estado de um sensor ou dispositivo mudou pela última vez.
- Permitir que o assistente crie rotinas a partir de uma descrição em linguagem natural.
- Conectar o Home Assistant a um modelo compatível com OpenAI hospedado localmente, como o LocalAI.
Início rápido
- 1
Instale pelo HACS como repositório personalizado ou copie a pasta extended_openai_conversation para custom_components
- 2
Reinicie o Home Assistant
- 3
Em Configurações > Dispositivos e serviços, adicione a integração e informe uma chave de API
- 4
Em Configurações > Assistentes de voz, selecione Extended OpenAI Conversation como agente de conversa
Antes de usar
- É necessária uma instância do Home Assistant em execução, pois este é um componente personalizado.
- É necessária uma chave de API da OpenAI ou de um servidor compatível com OpenAI.
Tópicos
Perguntas frequentes
- O que é extended_openai_conversation?
- Um componente personalizado para Home Assistant que permite a um LLM compatível com OpenAI controlar dispositivos, chamar serviços e criar automações. Extended OpenAI Conversation é uma integração personalizada para Home Assistant que substitui o agente de conversa integrado por outro baseado no function calling da OpenAI. Ela deriva da própria integração OpenAI Conversation do Home Assistant e adiciona ferramentas para o modelo interagir com sua casa inteligente, em vez de apenas responder a perguntas.
- extended_openai_conversation é gratuito? Qual é a licença?
- extended_openai_conversation é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- extended_openai_conversation ainda é mantido?
- Manutenção ativa. O último commit de extended_openai_conversation foi em 11 de out. de 2026.
- Para que posso usar extended_openai_conversation?
- Controlar luzes, interruptores e media players por voz ou chat no Home Assistant. Perguntar quando o estado de um sensor ou dispositivo mudou pela última vez. Permitir que o assistente crie rotinas a partir de uma descrição em linguagem natural. Conectar o Home Assistant a um modelo compatível com OpenAI hospedado localmente, como o LocalAI.
- Como instalar extended_openai_conversation?
- Instale pelo HACS como repositório personalizado ou copie a pasta extended_openai_conversation para custom_components Reinicie o Home Assistant Em Configurações > Dispositivos e serviços, adicione a integração e informe uma chave de API Em Configurações > Assistentes de voz, selecione Extended OpenAI Conversation como agente de conversa
- Onde consigo extended_openai_conversation?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jekalmin/extended_openai_conversation
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca cliente em Python que unifica APIs de vários provedores de IA em uma interface simples para texto, dados estruturados e conversas.
Biblioteca Python e CLI que permite que qualquer LLM compatível (OpenAI, Anthropic, Ollama, LMStudio) use ferramentas de um ou mais servidores MCP por meio de linguagem natural.
Integração oficial da Xiaomi que conecta dispositivos IoT inteligentes da marca ao Home Assistant pela Xiaomi Cloud ou por um hub gateway local.
Biblioteca Python e ferramenta de linha de comando miiocli para controlar dispositivos Xiaomi de casa inteligente pelos protocolos miIO e MIoT.
Um emulador em Python da Hue Bridge da Philips que permite controlar localmente muitas luzes e dispositivos que não são Hue com apps compatíveis e sistemas de casa inteligente.