Um mecanismo de inferência de LLM de alto desempenho da Alibaba, usado em diversas unidades de negócio da empresa para servir grandes modelos de linguagem.
1,4 mil+7 esta semana299PythonApache-2.0Atualizado há 7 horas
bentoml/OpenLLM
Executa LLMs de código aberto, como Llama e Qwen, como endpoints de API compatíveis com a OpenAI usando um único comando, com uma interface de chat integrada.
Alternativa open source a:OpenAI API
- Estrelas
- 12,582
- Forks
- 849
- Issues abertas
- 21
- Último commit
- há 4 dias
O que é?
OpenLLM é uma ferramenta em Python para hospedar seus próprios modelos de linguagem grandes de código aberto. Você inicia um modelo com um comando como `openllm serve llama3.2:1b`, e ele disponibiliza uma API compatível com a OpenAI na porta 3000 do localhost. Assim, o código de clientes OpenAI e ferramentas como LlamaIndex podem se conectar a ela alterando apenas a URL base.
O projeto inclui um catálogo de modelos compatíveis, entre eles Llama 3.x, Mistral, Qwen 2.5, Gemma e DeepSeek, e o servidor oferece uma interface de chat no caminho /chat. Modelos com acesso restrito exigem um token do Hugging Face, e o OpenLLM não armazena os pesos dos modelos. O comando de CLI `openllm run` abre uma sessão de chat no terminal.
Os modelos são organizados em repositórios de modelos. Os usuários podem adicionar um repositório público personalizado, com modelos empacotados como Bentos usando BentoML, e o projeto explica como criar implantações em Docker e Kubernetes a partir deles.
Recursos principais
- 01Disponibiliza LLMs de código aberto como endpoints de API compatíveis com a OpenAI.
- 02Inicia um servidor de modelos com um único comando `openllm serve`.
- 03Inclui uma interface de chat integrada no caminho /chat.
- 04Oferece um comando de chat no terminal via `openllm run`.
- 05Oferece suporte a repositórios de modelos, inclusive repositórios públicos personalizados.
- 06Empacota modelos como Bentos para implantação em Docker e Kubernetes.
Casos de uso
- Hospedar localmente um modelo Llama ou Qwen por trás de uma API no estilo OpenAI para um aplicativo existente.
- Testar modelos de código aberto com código que usa o SDK da OpenAI sem alterar o cliente.
- Implantar um modelo personalizado ou ajustado em Docker ou Kubernetes usando o empacotamento do BentoML.
Início rápido
- 1
Instale o OpenLLM com pip
pip install openllm - 2
Explore o OpenLLM de forma interativa
openllm hello - 3
Configure seu token do Hugging Face para modelos com acesso restrito
export HF_TOKEN=<your token> - 4
Inicie um servidor LLM com um modelo
openllm serve llama3.2:1b
Antes de usar
- Modelos com acesso restrito, como o Llama, exigem um token do Hugging Face e aprovação de acesso.
- Modelos maiores precisam de bastante memória de GPU; por exemplo, algumas opções exigem GPUs de 80G.
Em coleções
Tópicos
Perguntas frequentes
- O que é OpenLLM?
- Executa LLMs de código aberto, como Llama e Qwen, como endpoints de API compatíveis com a OpenAI usando um único comando, com uma interface de chat integrada. OpenLLM é uma ferramenta em Python para hospedar seus próprios modelos de linguagem grandes de código aberto. Você inicia um modelo com um comando como `openllm serve llama3.2:1b`, e ele disponibiliza uma API compatível com a OpenAI na porta 3000 do localhost. Assim, o código de clientes OpenAI e ferramentas como LlamaIndex podem se conectar a ela alterando apenas a URL base.
- OpenLLM é gratuito? Qual é a licença?
- OpenLLM é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- OpenLLM ainda é mantido?
- Manutenção ativa. O último commit de OpenLLM foi em 2 de nov. de 2026.
- Para que posso usar OpenLLM?
- Hospedar localmente um modelo Llama ou Qwen por trás de uma API no estilo OpenAI para um aplicativo existente. Testar modelos de código aberto com código que usa o SDK da OpenAI sem alterar o cliente. Implantar um modelo personalizado ou ajustado em Docker ou Kubernetes usando o empacotamento do BentoML.
- Como instalar OpenLLM?
- Instale o OpenLLM com pip: pip install openllm Explore o OpenLLM de forma interativa: openllm hello Configure seu token do Hugging Face para modelos com acesso restrito: export HF_TOKEN=<your token> Inicie um servidor LLM com um modelo: openllm serve llama3.2:1b
- Onde consigo OpenLLM?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/bentoml/OpenLLM
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Gerenciador open source de clusters de GPU que implanta modelos de IA com vLLM, SGLang e TensorRT-LLM e oferece instâncias de GPU por SSH sob demanda.
6 mil+52 esta semana724PythonApache-2.0Atualizado há 15 horas
Kit de ferramentas baseado em Docker para hospedar, criar, ajustar e empacotar LLMs de código aberto por trás de uma API compatível com a OpenAI.
542+2 esta semana56GoMITBem mantidoAtualizado há 5 dias
Framework de inferência e serving de LLMs baseado em Python, com foco em leveza, facilidade de escalabilidade e alto throughput.
4,4 mil+12 esta semana384PythonApache-2.0Bem mantidoAtualizado há 16 horas
Plataforma leve de gerenciamento de GPUs e Model-as-a-Service que reúne servidores e clouds com aceleradores variados em um único endpoint compatível com OpenAI.
141+22 esta semana41GoApache-2.0Bem mantidoAtualizado há 8 horas
Um mecanismo de IA auto-hospedado e compatível com OpenAI, que executa LLMs e modelos de visão, voz, imagem e vídeo em qualquer hardware, inclusive em máquinas só com CPU.
50,2 mil+151 esta semana4,6 milGoMITAtualizado há 7 horas