Repolode
Enviar
InftyAI

InftyAI/llmaz

Plataforma de inferência nativa do Kubernetes para implantar e servir grandes modelos de linguagem com backends plugáveis, como vLLM, SGLang e llama.cpp.

Ver no GitHubSite
Estrelas
314
Forks
48
Issues abertas
53
Último commit
há 2 meses

O que é?

llmaz é uma plataforma de inferência para executar grandes modelos de linguagem no Kubernetes. Os usuários declaram um modelo e um playground como recursos do Kubernetes, e a plataforma cuida do carregamento do modelo e da exposição do serviço, permitindo criar um endpoint LLM funcional com configuração mínima.

A plataforma integra vários backends de inferência, incluindo vLLM, Text-Generation-Inference, SGLang, llama.cpp e TensorRT-LLM, e pode carregar modelos do Hugging Face, ModelScope ou de armazenamentos de objetos. Também permite servir um modelo em dispositivos heterogêneos, executar inferência distribuída em vários hosts por meio do LWS e fazer autoscaling com HPA e Karpenter.

O projeto está atualmente em alpha, então suas APIs podem mudar antes do lançamento Beta. As integrações opcionais incluem Envoy AI Gateway para limitação de taxa baseada em tokens e roteamento de modelos, além do Open WebUI como interface de chat integrada.

Recursos principais

  • 01Implante um serviço LLM no Kubernetes aplicando um recurso de modelo e um de playground.
  • 02Oferece suporte aos backends vLLM, TGI, SGLang, llama.cpp e TensorRT-LLM.
  • 03Carrega modelos automaticamente do Hugging Face, ModelScope e de armazenamentos de objetos.
  • 04Inferência distribuída em vários hosts com LWS.
  • 05Autoscaling com HPA baseado em métricas de LLM e autoscaling de nós via Karpenter.
  • 06Limitação de taxa baseada em tokens e roteamento de modelos por meio do Envoy AI Gateway.

Casos de uso

  • Hospedar LLMs de pesos abertos em um cluster Kubernetes existente com GPUs.
  • Servir um modelo em uma combinação de aceleradores heterogêneos para equilibrar custo e desempenho.
  • Executar modelos grandes que precisam de inferência distribuída em vários hosts.
  • Disponibilizar um endpoint de completions compatível com OpenAI, com uma interface de chat para equipes internas.

Início rápido

  1. 1

    Leia o guia de instalação e instale o llmaz no seu cluster Kubernetes

  2. 2

    Crie um Secret com um token do Hugging Face, se o modelo precisar dele

    kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token>
  3. 3

    Aplique os recursos OpenModel e Playground para implantar facebook/opt-125m

  4. 4

    Faça o encaminhamento de porta do serviço para localhost

    kubectl port-forward svc/opt-125m-lb 8080:8080

Antes de usar

  • O projeto está em fase alfa, então a API pode mudar antes de chegar à versão Beta.
  • A implantação exige um cluster Kubernetes existente, o que aumenta o trabalho de hospedagem própria.
  • Para executar em GPUs ou CPUs, é necessário fazer configurações adicionais, como o exemplo com llama.cpp para uso de CPU.

Em coleções

Rode LLMs localmente

Tópicos

#llm#kubernetes#inference#model-serving#vllm#llama-cpp#distributed-inference#autoscaling#huggingface#inference-platform

Perguntas frequentes

O que é llmaz?
Plataforma de inferência nativa do Kubernetes para implantar e servir grandes modelos de linguagem com backends plugáveis, como vLLM, SGLang e llama.cpp. llmaz é uma plataforma de inferência para executar grandes modelos de linguagem no Kubernetes. Os usuários declaram um modelo e um playground como recursos do Kubernetes, e a plataforma cuida do carregamento do modelo e da exposição do serviço, permitindo criar um endpoint LLM funcional com configuração mínima.
llmaz é gratuito? Qual é a licença?
llmaz é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
llmaz ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de llmaz foi em 27 de ago. de 2026.
Para que posso usar llmaz?
Hospedar LLMs de pesos abertos em um cluster Kubernetes existente com GPUs. Servir um modelo em uma combinação de aceleradores heterogêneos para equilibrar custo e desempenho. Executar modelos grandes que precisam de inferência distribuída em vários hosts. Disponibilizar um endpoint de completions compatível com OpenAI, com uma interface de chat para equipes internas.
Como instalar llmaz?
Leia o guia de instalação e instale o llmaz no seu cluster Kubernetes Crie um Secret com um token do Hugging Face, se o modelo precisar dele: kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token> Aplique os recursos OpenModel e Playground para implantar facebook/opt-125m Faça o encaminhamento de porta do serviço para localhost: kubectl port-forward svc/opt-125m-lb 8080:8080
Onde consigo llmaz?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/InftyAI/llmaz

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados