Repolode
Enviar
mudler

mudler/LocalAI

Um mecanismo de IA auto-hospedado e compatível com OpenAI, que executa LLMs e modelos de visão, voz, imagem e vídeo em qualquer hardware, inclusive em máquinas só com CPU.

Alternativa open source a:OpenAI API

Ver no GitHubSite
Estrelas
49,633
Forks
4,507
Issues abertas
202
Último commit
há 3 horas

O que é?

LocalAI é um mecanismo open source para servir modelos de IA na sua própria infraestrutura. Ele oferece APIs compatíveis com OpenAI, Anthropic e ElevenLabs, permitindo que o código cliente existente se conecte a um servidor local em vez de um serviço hospedado. Abrange geração de texto, visão, conversão de fala em texto e de texto em fala, geração de imagens e vídeos, embeddings, reranking e detecção de objetos por meio de uma única API.

O núcleo é enxuto. Cada backend encapsula um mecanismo como llama.cpp, vLLM, whisper.cpp, stable-diffusion ou MLX e é instalado como uma imagem própria somente quando um modelo precisa dele. O suporte a hardware inclui NVIDIA CUDA, AMD ROCm, Intel oneAPI, Apple Silicon Metal, Vulkan e operação só com CPU.

Além da inferência, o LocalAI inclui autenticação por chave de API, cotas por usuário, agentes integrados com uso de ferramentas e RAG, suporte a MCP e um modo distribuído que usa PostgreSQL e NATS para escalar horizontalmente.

Recursos principais

  • 01Endpoints de API compatíveis com OpenAI, Anthropic e ElevenLabs em diferentes backends
  • 02Executa LLMs e modelos de visão, fala, imagem e vídeo por meio de uma única API
  • 03Os backends são instalados sob demanda, então só os mecanismos necessários para cada modelo são baixados
  • 04Compatível com hardware NVIDIA, AMD, Intel, Apple Silicon, Vulkan e máquinas só com CPU
  • 05Agentes integrados com uso de ferramentas, RAG e suporte a MCP
  • 06Autenticação por chave de API, cotas por usuário e controle de acesso baseado em funções para configurações multiusuário

Casos de uso

  • Executar uma alternativa privada e auto-hospedada a APIs hospedadas compatíveis com OpenAI
  • Servir modelos abertos em uma estação de trabalho ou servidor sem GPU dedicada
  • Criar assistentes de voz que combinem conversão de fala em texto, um LLM e conversão de texto em fala localmente
  • Operar um serviço de modelos compartilhado por uma equipe, com cotas por usuário e chaves de API

Tópicos

#llm#openai-compatible#self-hosted#inference#multimodal#rag#text-to-speech#image-generation#agents#ai

Perguntas frequentes

O que é LocalAI?
Um mecanismo de IA auto-hospedado e compatível com OpenAI, que executa LLMs e modelos de visão, voz, imagem e vídeo em qualquer hardware, inclusive em máquinas só com CPU. LocalAI é um mecanismo open source para servir modelos de IA na sua própria infraestrutura. Ele oferece APIs compatíveis com OpenAI, Anthropic e ElevenLabs, permitindo que o código cliente existente se conecte a um servidor local em vez de um serviço hospedado. Abrange geração de texto, visão, conversão de fala em texto e de texto em fala, geração de imagens e vídeos, embeddings, reranking e detecção de objetos por meio de uma única API.
LocalAI é gratuito? Qual é a licença?
LocalAI é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
LocalAI ainda é mantido?
Manutenção ativa. O último commit de LocalAI foi em 19 de out. de 2026.
Para que posso usar LocalAI?
Executar uma alternativa privada e auto-hospedada a APIs hospedadas compatíveis com OpenAI Servir modelos abertos em uma estação de trabalho ou servidor sem GPU dedicada Criar assistentes de voz que combinem conversão de fala em texto, um LLM e conversão de texto em fala localmente Operar um serviço de modelos compartilhado por uma equipe, com cotas por usuário e chaves de API
Onde consigo LocalAI?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mudler/LocalAI

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados